hadoop安装

最新推荐文章于 2024-09-27 14:06:30 发布

BeToNo1

最新推荐文章于 2024-09-27 14:06:30 发布

阅读量103

点赞数

文章标签： hadoop 50070 hadoop安装

本文链接：https://blog.csdn.net/BeToNo1/article/details/80703947

版权

从开始学到安装好，成功跑完第一个简单的wordcount，花了我两天的时间；第一次使用的jdk10.0.1和hadoop3.0.3，当一切准备就绪，正准备跑一下MapReduce里面的example时，出现了一些问题，主要是javax.nullpointer之类的类文件未找到，查了一些论坛，几乎没有找到与之对应的解答（新东西有时不见得那么好，都没有经验可以借鉴，有时间还是可以对着文档慢慢琢磨，毕竟新技术有它存在的价值），却有些建议使用jdk1.7；第二次就改用了jdk1.8。

现将一些安装配置运行过程中遇到问题，总结一下。

主要修改的文件：

1、hadoop-env.sh

2、core-site.xml

3、hdfs-site.xml

4、mapred-site.xml

5、yarn-site.xml

6、/etc/profile：需要source以下才能立刻生效

7、/etc/hosts:修改本地DNS，将ip和主机名做映射

error1：遇到50070端口无法访问，而8088却可以时，主要看3和7

hdfs-site.xml 添加如下：

<name>dfs.http.address</name>

</property>

0.0.0.0根据本地ip进行设置，50070端口对应的是hdfs的状态

error2：当运行MapReduce时，出现错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

先执行hadoop classpath，获取classpath中的内容，并将该内容设置到yarn-siet.xml中yarn.application.classpath的value中

<property>
<name>yarn.application.classpath</name>
<value>/home/hadoop/app/hadoop-3.0.3/etc/hadoop,/home/hadoop/app/hadoop-3.0.3/share/hadoop/common/lib/*,/home/hadoop/app/hadoop-3.0.3/share/hadoop/common/*,/home/hadoop/app/hadoop-3.0.3/share/hadoop/hdfs,/home/hadoop/app/hadoop-3.0.3/share/hadoop/hdfs/lib/*,/home/hadoop/app/hadoop-3.0.3/share/hadoop/hdfs/*,/home/hadoop/app/hadoop-3.0.3/share/hadoop/mapreduce/lib/*,/home/hadoop/app/hadoop-3.0.3/share/hadoop/mapreduce/*,/home/hadoop/app/hadoop-3.0.3/share/hadoop/yarn,/home/hadoop/app/hadoop-3.0.3/share/hadoop/yarn/lib/*,/home/hadoop/app/hadoop-3.0.3/share/hadoop/yarn/*
</value>

</property>

该配置为mapreduce task指定其所需要的hadoop包存在于本地的哪个位置；当task启动时，根据该配置找到所需要的hadoop相关的class

error3：运行job，出现以下输出信息时，主要说的就是容量超出虚拟内存所能容纳的范围，导致container被kill掉

2018-06-15 09:36:13,668 INFO mapreduce.Job: map 0% reduce 0%
2018-06-15 09:36:25,258 INFO mapreduce.Job: Task Id : attempt_1529022554793_0003_m_000000_0, Status : FAILED
[2018-06-15 09:36:23.248]Container [pid=43388,containerID=container_1529022554793_0003_01_000002] is running beyond virtual memory limits. Current usage: 57.1 MB of 1 GB physical memory used; 2.6 GB of 2.1 GB virtual memory used. Killing container.

修改yarn-site.xml,添加如下配置

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

</property>

<name>yarn.nodemanager.vmem-pmem-ratio</name>

</property>

配置完成后，重新启动start-dfs.sh和start-yarn.sh

注：新手一枚，不妥之处，还望指正，谢谢！