3、安装hadoop2.2
将下载的hadoop2.2.tar.gz解压到一个目录,然后进行配置(cd $HADOOP_HME/etc/hadoop):
(1)编辑hodoop-env.sh,修改以下对应行为:
- export JAVA_HOME=/usr/lib/jvm/java-6-sun
注:请确定JAVA已正确安装。如果没有,你可以参照相关文档进行JAVA的安装。
(2)编辑core-site.xml,添加以下配置:
配置name节点的ip和端口,如果是完全分布式安装需要将localhost改成实际ip
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
(3)编辑hdfs-site.xml,添加以下配置:
配置name节点和data节点的数据存放位置,dfs.replication表示数据备份数
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>dfs.namenode.name.dir</name>
- <value>/root/hadoopDir/hadoop4namenode</value>
- </property>
- <property>
- <name>dfs.datanode.data.dir</name>
- <value>/root/hadoopDir/hadoop4datanode</value>
- </property>
(4)编辑yarn-site.xml,加入以下配置:
- <property>
- <name>yarn.nodemanager.aux-services</name>
- <value>mapreduce_shuffle</value>
- </property>
- <property>
- <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
- <value>org.apache.hadoop.mapred.ShuffleHandler</value>
- </property>
(5)编辑mapred-site.xml,添加以下配置:
- <property>
- <name>mapreduce.cluster.temp.dir</name>
- <value></value>
- <description>No description</description>
- <final>true</final>
- </property>
- <property>
- <name>mapreduce.cluster.local.dir</name>
- <value></value>
- <description>No description</description>
- <final>true</final>
- </property>