一、准备
首先在Master进行操作。
解压Hadoop: tar -xzvf hadoop-2.6.0.tar.gz
配置之前,先在本地文件系统创建以下文件夹:~/hadoop/tmp、~/dfs/data、~/dfs/name。
主要涉及的配置文件有7个:都在/hadoop/etc/hadoop文件夹下:
hadoop-env.sh
yarn-env.sh
slaves
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
二、配置
exportJAVA_HOME=/usr/lib/jvm/jre-1.6.0-openjdk.x86_64/
2)配置yarn-env.sh,修改JAVA_HOMEexportJAVA_HOME=/usr/lib/jvm/jre-1.6.0-openjdk.x86_64/
3)修改slaves文件,增加slave节点配置如下:
Datanode1
Datanode2
4)修改core-site.xml,增加Hadoop核心配置配置如下(hdfs文件端口是9000)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/seraph/source/hadoop-2.6.0/tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
5)修改hdfs-site.xml,增加HDFS配置信息,(namenode, datanode端口和目录位置)<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/seraph/source/hadoop-2.6.0/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/seraph/source/hadoop-2.6.0/data</value>
</property>
</configuration>
6)修改mapred-site.xml,增加mapreduce配置(使用yarn框架,jobhistory使用地址以及web地址)<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
7)修改yarn-site.xml,增加yarn功能<configuration>
<!-- Site specific YARN configuration properties-->
<property>
<name>yarn.resourcemanager.address</name>
<value>Master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>Master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>Master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>Master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>Master:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3、同步到从机
将以上配置文件同步至从机,可使用scp命令,如下:
$scp ~/source/hadoop2.6 seraph@datanode1:~/source
4、启动
格式化每台机器:
./bin/hdfsnamenode -format
2)启动启动DFS
./sbin/start-dfs.sh
启动YARN
./sbin/start-yarn.sh
5、查看集群状态
查看集群:http://Master:8088/