hadoop集群配置

配置hadoop

Created Thursday 15 March 2018

一般在主节点进行修改配置后,利用scp命令下发给其他各个节点机器上

已一个节点为例:比如我此次配置的node01
1.hadoop-env.sh

vi hadoop-env.sh
export JAVA_HOME=/root/apps/jdk1.8.0_65

2.core-site.xml

指定hadoop所使用的文件系统schema(URI统一资源标识符),HDFS的老大(NameNode)
的地址
<property>

<name>fs.defaultFS</name>
<value> hdfs://node01:9000</value>

</property>

指定hadoop运行时产生文件的存储目录,默认是/tmp/hadoop-${user.name}
<property>

<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.4.1/tmp</value>

</property>

3.hdfs-site.xml
指定HDFS副本的数量:(默认是3)
<property>

<name>dfs.replication</name>
<value>2</value>

</property>

指定secondaryNode
<property>

<name>dfs.namenode.secondary.http-address</name>
<value>node-2:50090</value>

</property>

4.mapred-site.xml因为在mr运行的时候,默认的是local,所以要配置yarn

mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<property>

<name>mapreduce.framework.name</name>
<value>yarn</value>

</property>

5.yarn-site.xml
指定yarn的老大(ResourceManager)的地址:
<property>

<name>yarn.resourcemanager.hostname</name>
<value>node-1</value>

</property>

NodeManager上运行的附属服务,需要配置为mapreduce_shuffle,才可以运行mapReduce
程序默认值
<property>

<name>yarn.namenode.aux-services</name>
<value>mapreduce_shuffle</value>

</property>

6.slaves: 里面协商从节点所在的主机名字

vi slaves
node01
node02
node03

7.可以导入hadoop的环境变量.

8.使用scp命令进行

在node-1上运行:
scp -r /export/server/hadoop-2.7.4/ root@node-2:/export/server/
scp -r /export/server/hadoop-2.7.4/ root@node-3:/export/server/

scp -r /etc/profile root@node-2:/etc/
scp -r /etc/profile root@node-3:/etc/