Liunx系统Hadoop集群搭建配置

下面是hadoop安装流程

1. 进入下载页面 http://archive.apache.org/dist/ 找到hadoop点击进入
   
   2.在这个页面点击common进去后可以看见各种版本的hadoop
   3.在这里我选择安装2.7.3版本的
   4.点击进入下载tar.gz压缩包
   
   5.输入命令把压缩包解压到/usr/local路径

tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local

6.配置网卡

[root@HA01 ~]# vi /etc/udev/rules.d/70-persistent-net.rules

**注意:**上图红框里的内容，克隆出来的虚拟机会有两个，一个结尾为eth0，一个为eth1，删掉eth0的，保留eth1，然后修改eth1为eth0的即可。
修改ip

[root@HA01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

7.配置主机名：

[root@HA01 ~]# vi /etc/sysconfig/network

8.关闭防火墙

临时关闭防火墙命令：service iptables stop
永久关闭防火墙命令：chkconf iptables off

9.安装ssh客户端

yum install -y openssh-clients

10.修改hosts映射文件

[root@HA01 ~]# vi /etc/hosts

11.设置免密登录
我在这设置了三个节点：一台为主节点二台从节点
三个节点都得设置免密登录

[root@HA01 ~]# ssh-keygen -t rsa
[root@HA01 ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub 目的节点hostname

**注意:**发送公钥时得给当前节点也发送一份
12.安装jdk

1.去官网下载jdk~~~~~.tar.gz压缩包
2:解压文件到安装目录   tar -zxvf /root/jdk-8u102-linux-x64.tar.gz -C /usr/local/
3:配置环境变量   vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_102
export PATH=$PATH:$JAVA_HOME/bin
5:source /etc/profile

配置文件修改

最简化配置如下：
进入hadoop2.7.3目录下etc目录下的hadoop目录

[root@HA01 hadoop]# vi hadoop-env.sh

[root@HA01 hadoop]# vi core-site.xml

Namenode在哪里 ，临时文件存储在哪里
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://主节点hostname:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.3/tmp</value>
</property>
</configuration>
vi  hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-2.7.3/data/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-2.7.3/data/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.secondary.http.address</name>
<value>主节点hostname:50090</value>
</property>
</configuration>


[root@HA01 hadoop]#cp mapred-site.xml.tmp* mapred-site.xml
[root@HA01 hadoop]#vi  mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>


[root@HA01 hadoop]#vi  yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主节点hostname</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
[root@HA01 hadoop]#vi  slaves
主节点hostname
从节点hostname
从节点hostname

配置hadoop环境变量

  [root@HA01 hadoop]#vi /etc/profile

启动集群

1.初始化

 [root@HA01 ~]#hadoop  namenode  -format

2.启动HDFS

 [root@HA01 ~]#start-dfs.sh

3.启动YARN

 [root@HA01 ~]#start-yarn.sh

4.检查
登录网页 主节点hostname:50070和8088进行检测集群是否启动成功
50070:

8088: