hadoop本地环境设置及问题解决

首先进行如下设置:
conf.set(“mapreduce.framework.name”, “local”); //设置mapreduce框架为本地
conf.set(“fs.defaultFS”, “file:///”); //设置文件系统为本地windos
这两项其实是默认配置,不用设置,此处是为了更好的理解

环境变量中需要设置HADOOP_HOME路径
debug configure输入参数时:D:/input D:/output 与windos下相反,采用的时linux的格式


问题2:hadoop解决Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps

分析:是由于之前开发时都只用到了hdfs的架包,没有完全导入所有hadoop的包,导致本次缺少yarn的包

解决办法:
build path–>configure build path–>add external jars,
找到D:\hadoop-2.6.5\share\hadoop\yarn,添加即可


问题3:Hadoop 2.4.1 UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0
解决办法:
网上目前大多是将hadoop.dl添加到C:\Windows\System32上,试过后无用。
采用另一位解决办法有效:
Windows - Preference - Java - Installed JREs- 然后在右边 添加你的64位的 JDK的路径。
个人理解:之前由于虚拟机中报错jdk版本过高,本人在eclipse中又加了一个1.7jdk,这次按照以上办法恢复称jdk1.8的就ok了


结果:成功
这里写图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要搭建Hadoop单机版,可以按照以下步骤进行: 1. 下载Hadoop单机版(例如Apache Hadoop 3.3.1)并解压缩到本地目录。 2. 修改Hadoop配置文件,包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml,具体的配置可以参考Hadoop官方文档。 3. 格式化Hadoop文件系统,使用以下命令: ``` bin/hdfs namenode -format ``` 4. 启动Hadoop服务,使用以下命令: ``` sbin/start-all.sh ``` 5. 验证Hadoop服务是否启动成功,可以使用以下命令: ``` jps ``` 如果看到以下进程,则说明Hadoop服务已经成功启动: ``` NameNode DataNode SecondaryNameNode ResourceManager NodeManager ``` 6. 编写MapReduce程序,可以使用Java编写,需要引入Hadoop相关的jar包。 以下是一个简单的姓名分析的MapReduce程序的代码示例: ```java import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class NameAnalysis { public static class NameMapper extends Mapper<LongWritable, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text name = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); String[] fields = line.split(","); if(fields.length >= 2) { name.set(fields[1]); context.write(name, one); } } } public static class NameReducer extends Reducer<Text,IntWritable,Text,IntWritable> { public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } context.write(key, new IntWritable(sum)); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "NameAnalysis"); job.setJarByClass(NameAnalysis.class); job.setMapperClass(NameMapper.class); job.setCombinerClass(NameReducer.class); job.setReducerClass(NameReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 以上代码实现了从一个CSV文件读取姓名,并对每个姓名进行计数。 7. 将MapReduce程序打包,并提交到Hadoop集群运行,使用以下命令: ``` bin/hadoop jar <jar文件路径> <输入文件路径> <输出文件路径> ``` 例如,如果将以上代码打包为NameAnalysis.jar文件,并将输入文件放置在/user/hadoop/input/names.csv,输出文件放置在/user/hadoop/output/names,可以使用以下命令提交作业: ``` bin/hadoop jar NameAnalysis.jar /user/hadoop/input/names.csv /user/hadoop/output/names ``` 执行完毕后,可以在/user/hadoop/output/names目录下看到输出结果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值