Hadoop集群搭建全过程

一 搭建虚拟机（虚拟机搭建过程）

1.在主页点击创建新的虚拟机
2.选择自定义高级，点击下一步
3.直接点击下一步
4.选择稍后安装操作系统，点击下一步
5.客户机系统选择Linux，版本是CentOS 64位，点击下一步
6.修改虚拟机名称与虚拟机存放位置，点击下一步
7.默认设置处理器数量为1；每个处理器的核心数量为1；总处理器核心数量为1 ，不需要更改设置，直接点击下一步
8.默认虚拟机的内存设置为1024MB不需要更改，直接点击下一步
9.网络连接选择使用网络地址转换（NAT），点击下一步
10.SCSI控制器选择推荐的LSI Logic，点击下一步
11.虚拟磁盘类型选择推荐的SCSI，点击下一步
12.磁盘选择创建新虚拟磁盘，点击下一步
13.将最大磁盘大小修改为50GB，选择将磁盘拆分成多个文件，点击下一步
14.不需要做任何更改，直接点击下一步
15.点击完成，回跳到开启虚拟机页面
16.点击页面上的虚拟机设置，将CD/DVD(IDE)的使用物理驱动器改为使用ISO映像文件，更改后点击浏览添加映射，提示可将不需要的USB控制器、声卡、打印机移除 此操作可做可不做，最后点击确定
17.点击开启虚拟机，初始页面点击虚拟机页面直接按回车键
18.出现ok/skip选择skip跳过
19.加载完成后点击Next
20.选择字体建议选择中文简体，别给自己增加难度，点击Next
21.选择美国英语式点击下一步
22.选择基本储存设备，点击下一步
23.出现弹窗选择是，忽略所有数据
23.修改主机名，点击下一步
24.默认亚洲上海，直接点击下一步
25.输人密码，确认密码点击下一步，出现弹窗选择无论任何都使用
26.选择创建自定义布局点击下一步
27.（1）点击创建，出现弹窗在点击创建，点击挂载点的下拉框，选择/boot,大小设置为300，其他大小选项选择固定大小，点击确定
   （2）点击创建，出现弹窗在点击创建，点击文件系统类型的下拉框，选择swap,大小设置为2048（虚拟机内存的两倍），其他大小选项选择固定大小，点击确定
   （3）点击创建，出现弹窗在点击创建，点击挂载点的下拉框，选择/,大小设置（不做设置），其他大小选项使用全部可用空间，点击确定 做完以上操作，点击下一步，出现弹窗点击格式化，出现弹窗点击将修改写入磁盘
28.默认设置不做更改，直接下一步
29.默认设置不做更改，直接下一步，等待安装完成（在第一台进行安装时可进行第二台虚拟机的配置过程同上，建议最多同时搭建两台，电脑配置好可以考虑3台）
30.安装完成点击重新引导，提示一路遇前进点前进，遇是点是，遇下一步点下一步，千万别做其他操作，依次操作即可
31.引导完成后登录虚拟机，虚拟机桌面右击打开中端，在终端中执行 vi /etc/sysconfig/network-scripts/ifcfg-eth0
32.执行会进入一个文档，按i键编辑，在文档中进行以下操作 (1)将ONBOOT=no改为ONBOOT=yes (2)将BOOTPROTO=bhcp改为BOOTPROTO=none (3)添加IPADDR=192.168.80.11 提示如果是第二台虚拟机就写12以此类推 (4)添加NETMASK=255.255.255.0 (5)添加PREFIX=24 (6)添加GATEWAY=192.168.80.2 (7)添加IPV4_FAILURE_FATAL=yes (8)添加IPV6INIT=no (9)添加DNS1=192.168.80.2 (10)按ESC退出编辑 (11)执行小括号内的操作（：wq）保存修改，提示字母必须小写
33.在终端中执行 service iptables stop 关闭防火墙 执行后应出现3个确定
34.在终端中执行 chkconfig iptables off 做持久化操作
35.在终端中执行 service iptables status 查看防火墙状态
36.在终端中执行 servie network restart 重新启动网络，执行后应出现4个确定
37.在终端中执行 ifconfig 测试ip名是否修改
38.在终端中执行 ping www.baidu.com 测试网络是否设置成功，成功他会一直跳64啥啥啥的，成功键盘Ctrl 加 z终止
39.最后在电脑cmd中执行ping (你的	虚拟机ip地址，测哪个写哪个)例：192.168.80.11，成功会出现4次64（ping和ip地址中间有个空格）
40.虚拟机搭建成功，重启虚拟机（必须做），重启后不用登陆，连接Xshell

二 进行集群配置

1.执行命令 yum install -y lrzsz
2.执行cd /home/ 查看总用量
3.执行 mkdir soft 创建soft文档
4.cd 到soft目录下，上传Hadoop压缩包和jdk压缩包 命令：rz
5.查看jdk版本命令：rpm -qa | grep jdk
6.卸载当前jdk命令：rpm -e --nodeps jdk全称 卸载完成后输入 java -version 查看jdk情况进行确认
7.将压缩包进行解压命令： tar -zxvf 压缩包名 （两个压缩包都进行解压）
8.删除两个压缩包命令：rm -rf 文件名（红色的文件）
9.将两个文件名分别改为hadoop和jdk命令：mv 原文件名 新文件名
10.配置环境变量：
(1)vi /etc/profile (进入profile文件)
(2)
export JAVA_HOME=/home/soft/jdk
export HADOOP_HOME=/home/soft/hadoop
export HIVE_HOME=/home/soft/apache-hive-1.2.0-bin
export ZOOKEEPER_HOME=/home/soft/zookeeper
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
将以上代码粘贴到will下方不需要做改动 esc退出编辑模式 :wq保存退出
(3)刷新环境变量文件命令：source /etc/profile
(4)再次执行java -version命令查看jdk情况显示应为：
java version "1.8.0_40"
Java(TM) SE Runtime Environment (build 1.8.0_40-b25)
Java HotSpot(TM) 64-Bit Server VM (build 25.40-b25, mixed mode)
如果无误环境变量配置完成
11.配置3台虚拟机的主机映射
(1)vi /etc/hosts (进入hosts文件)
(2)在:1下配置格式:虚拟机ip地址 虚拟机主机名（3台虚拟机的hosts文件都要配置）
例如：      192.168.80.14 linux1
	192.168.80.15 linux2
	192.168.80.16 linux3
12.进入hadoop目录下命令： cd hadoop/etc/hadoop/
13.编辑core-site.xml文件
(1)vi core-site.xml (进入core-site.xml文件)
(2)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://linux2:8020</value>                                   /namenode rpc协议
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/soft/hadoop/tmp</value>
</property>
</configuration>
将原文件中的<configuration>
	    </configuration>
删除再将上面的代码粘贴esc退出编辑:wq保存退出即可
14.编辑hadoop-env.sh文件
(1)vi hadoop-env.sh (进入hadoop-env.sh文件)
(2)
export JAVA_HOME="/home/soft/jdk"
在原文件的exprot JAVA_HOME=${JAVA_HOME}下
上面的代码粘贴esc退出编辑:wq保存退出即可
15.编辑hdfs-site.xml文件
(1)vi hdfs-site.xml (进入hdfs-site.xml文件)
(2)
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/soft/hadoop/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/soft/hadoop/data</value>
</property>
<property>
        <name>fs.checkpoint.dir</name>
        <value>file:///home/soft/hadoop/cname</value>
</property>
<property>
        <name>fs.checkpoint.edits.dir</name>
        <value>file:///home/soft/hadoop/cname</value>
</property>
<property>
   <name>dfs.http.address</name>                                     / namenode
   <value>linux2:50070</value>
</property>
<property>
   <name>dfs.secondary.http.address</name>                      /secondname
   <value>linux3:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

</configuration>
将原文件中的<configuration>

	    </configuration>删除
再将上面的代码粘贴esc退出编辑:wq保存退出即可
16.复制mapred-site.xml.template将辅助复制出来的文件命名为mapred-site.xml
命令：cp mapred-site.xml.template mapred-site.xml
17.编辑mapred-site.xml文件
(1)vi mapred-site.xml (进入mapred-site.xml文件)
(2)将所有的node1改为第一台主机名
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobhistory.address</name>                              
<value>linux1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>                   
<value>linux1:19888</value>
</property>

</configuration>
将原文件中的<configuration>
	    </configuration>
删除再将上面的代码粘贴esc退出编辑:wq保存退出即可
18.vi slaves编辑slaves文件
将原有得内容删除
写入3台虚拟机的名称
例如：linux1
          linux2
          linux3
esc退出编辑:wq保存退出即可
19.编辑yarn-site.xml文件
(1)vi yarn-site.xml (进入yarn-site.xml文件)
(2)
<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>                                                 /rm
<value>linux1</value>rm
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>linux1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>linux1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>linux1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>linux1:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>linux1:8088</value>
</property>
</configuration>
将原文件中的<configuration>
	     
	    </configuration>
删除再将上面的代码粘贴esc退出编辑:wq保存退出即可

20.进入.ssh目录下命令：cd /root/.ssh/
21.创建authorized_keys文件命令：touch authorized_keys
22.生成密钥命令：ssh-keygen -t rsa （一路回车）
3台虚拟机都需要执行，执行完返回第一台虚拟机（注意必须要到.ssh目录下，第二第三台虚拟机不用创建authorized_keys文件直接生成密钥即可）
23.ll查看.ssh会有3个文件
24.将密钥放入authorized_keys文件中
命令：cat id_rsa.pub >> authorized_keys
执行完后cat authorized_keys 会发现里面多了一个密钥（现1个）
25.将authorized_keys发送给第二台虚拟机
命令：scp authorized_keys 第二台虚拟机名称:/root/.ssh/
如果出现让你选择yes/no输入yes
26.发送完成后到第二台虚拟机将第二台虚拟机的密钥放入authorized_keys文件
命令：cat id_rsa.pub >> authorized_keys
执行完后cat authorized_keys 会发现里面多了一个密钥（现2个）
27.将authorized_keys发送给第三台虚拟机
命令：scp authorized_keys 第三台虚拟机名称:/root/.ssh/
如果出现让你选择yes/no输入yes
发送完成后到第三台虚拟机将第三台虚拟机的密钥放入authorized_keys文件
命令：cat id_rsa.pub >> authorized_keys
执行完后cat authorized_keys 会发现里面多了一个密钥（现3个）
确认无误后将authorized_keys分别发送给第一第二台虚拟机
scp authorized_keys 第一台虚拟机名称:/root/.ssh/
scp authorized_keys 第二台虚拟机名称:/root/.ssh/
发送完成后使用（ssh 虚拟机名）（exit 是退出）名称命令来测试密钥是否成功（3台都得测试）
28.确认无误后回到第一台虚拟机将环境变量分别发送给第二第三台虚拟机
命令：scp  /etc/profile 虚拟机名:/etc/
29.发送完成后在第二台和第三台上都执行
刷新环境变量文件命令：source /etc/profile
执行完后回到第一台虚拟机
30.cd 到home目录下将soft目录分别发送给第二台第三台虚拟机
命令：scp -r soft/ 虚拟机名:/home/
31.发送完成后cd 到hadoop目录下
命令：cd /home/soft/hadoop
32.进行格式化命令：
hadoop namenode -format
33.格式化完成后启动集群命令：
start-all.sh
34.启动完成后输入jps查看节点
第一台为：ResourceManager NodeManager Jps NameNode DataNode 5个节点
第二台为：DataNode SecondaryNameNode Jps NodeManager 4个节点
第三台为：DataNode Jps NodeManager 3个节点
确认无误集群搭建成功关闭集群即可
关闭集群命令：stop-all.sh