ubuntu上搭建eclipse下hadoop-2.7.1集群（全分布式）开发环境遇到的几个问题笔记

最新推荐文章于 2019-05-07 21:52:00 发布

lsdnh521

最新推荐文章于 2019-05-07 21:52:00 发布

阅读量654

点赞数

分类专栏：机器学习/大数据文章标签： hadoop ubuntu 集群分布式

本文链接：https://blog.csdn.net/lsdnh521/article/details/49838275

版权

本文记录了在Ubuntu上配置Hadoop-2.7.1全分布式集群遇到的问题及解决方法，包括Hadoop安装配置、YARN取代JobTracker与TaskTracker、Eclipse Hadoop插件兼容性、主机和端口配置以及WordCount程序的运行路径设置。

摘要由CSDN通过智能技术生成

<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">花了两天的时间终于把eclipse-Hadoop的开发环境建立起来了，中间也遇到了很多问题，有十分崩溃的时候，不过庆幸最后问题也都解决了.</span>

第一天晚上熬夜到四点解决问题遇到坎之后真心是痛恨程序员这个职业啊，不过最后将WordCount跑起来之后还是相当开心的。功夫不负苦心人！

下面讲一下自己遇到的几个虐心的问题以及解决方法，望给遇到相似问题的人提供一下参考。

问题1：Hadoop在安装时的文件配置。

由于我安装的是最新版的Hadoop-2.7.1,但是网上关于最新版的安装资料很少，很多都是关于hadoop一点几和零点几的，hadoop安装过程中有四个最重要的文件需要配置：

core-site.xml
mapred-site.xml
yarn-site.xml
hdfs-site.xml

关于这四个文件的配置如下（建议最好能根据自己安装的版本看一下官网的特定版本的安装教程，里面讲的很详细，很多问题都是因为没有阅读官网教程直接照搬网上的出现的）：

core-site.xml. master是你的主节点的ip，9000是namenode端口

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>
	</property>
	<property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
	<property>
               <name>hadoop.tmp.dir</name>
               <value>file:/home/hadoop/tmp</value>
               <description>Abase for other temporary directories.</description>
       </property>
        <property>
               <name>hadoop.proxyuser.hadoop.hosts</name>
               <value>*</value>
       </property>
       <property>
               <name>hadoop.proxyuser.hadoop.groups</name>
               <value>*</value>
       </property>
</configuration>

mapred-site.xml. 将jobtracker的端口设置为9001,这个在后面搭建eclipse开发环境的时候要用到