hadoop集群环境搭建

一、安装配置说明

1、hadoop版本：使用hadoop2.7.6（下载网址：https:www.apache.org）
2、Linux系统版本：采用Centos6.8 64位系统（官网：https://www.centos.org 或 者：http://archive.kernel.org/）
3、每一台虚拟机的网络模型必须是 NAT 模式，并且需要保证每台电脑都可以访问外网。

二、准备软件及素材

1、hadoop 安装包
2、jdk 安装包
3、SecureCRT 8.3 安装包

三、服务器配置

1、同步服务器时间

1. 查看当前服务器日期及时间：date
2. 设置服务器日期： date -s “2019-01-01”
3. 设置服务器时间：date -s “9:00:00”
4. 设置日期及时间：date -s “2019-01-01 9:00:00”

2、设置服务器主机名

1. 找到主机名配置文件 /etc/sysconfig/network
2. 编辑 network 文件，设置主机名：HOSTNAME=主机名
3. 重启服务器 reboot

3、配置服务器防火墙

1. 查看防火墙状态：service iptables status
2. 关闭防火墙：service iptables stop
3. 打开防火墙：service iptables start
4. 永久关闭防火墙(需要重启)：chkconfig iptables off

4、配置 IP、主机名映射

1. 文件路径：/etc/hosts
2. 映射路径语法：IP 地址 主机名
   示例: 192.168.85.101 node1
   192.168.85.102 node2
   192.168.85.103 node3

5、设置 SSH 免密登录

1. 首先再各台主机中安装必要的命令：expect、wget、httpd、ssh，执行命令 如：expect
   提示命令不存在，则分别安装命令 yum install expect，yum install wget，yum install
   httpd，yum install ssh，安装完成后，需要启动 httpd 服务，service httpd start。
2. 配置
   a、生成公钥私钥对
   #ssh-keygen -t rsa //一路默认回车，系统在/root/.ssh 下生成 id_rsa、
   id_rsa.pub
   b、把 id_rsa.pub 发送到服务端机器上
   #ssh-copy-id -i /root/.ssh/id_rsa.pub 电脑 IP 地址
   c、验证
   #ssh 电脑 IP 地址

四、JDK安装及环境变量配置

1、SCP 文件传输：安装 rs、rt 工具

通过在 Linux 界面里输入 rz/sz 命令来上传/下载文件. 对于某些 linux 版本, rz/sz 默认没有
安装所以需要手工安装。
（1）sz: 将选定的文件发送(send)到本地机器; （2）rz：运行该命令会弹出 一个文件选择窗口, 从本地选择文件上传到服务器(receive).
（3）yum 安装：yum install lrzsz

2、查看是否安装过 java（如果没有安装过可以指跳到④）

①java -version 可以查看当前 java 使用的版本
②rpm -qa | grep java 查看当前系统存在的 java 包
③rpm -e --nodeps + 包名 卸载老版的包
④将jdk的压缩包上传到服务器
⑤解压： tar -xzvf 压缩包名

3、jdk 环境变量配置

1. 在环境变量配置文件中添加 java 环境变量
   在 etc/profile 中最后添加如下语句：

 export JAVA_HOME=/opt/jdk1.8.0_171    //export命令调用
 export PATH=$JAVA_HOME/bin:$PATH
 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

2. 重新加载环境变量配置文件 source /etc/profile

五、Hadoop安装文件处理

六、配置hadoop

1、上传 hadoop-2.7.6.tar.gz 到/server。解压到/server 目录中 # tar -xzvf hadoop-
2.7.6.tar.gz。删除安装包 # rm -rf hadoop-2.7.6.tar.gz
2、/server/hadoop-2.7.6/etc/hadoop 文件夹中的文件修改 参见给学员提供的资料中
的 hadoop 配置。 3、配置 hadoop 环境变量：
vi /etc/profile 输入内容：

export HADOOP_HOME=/server/hadoop-2.7.6 
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4、重新加载环境变量 ： source /etc/profile
5、远程拷贝 hadoop 到集群中其余机器：

scp -r /server/hadoop-2.7.6 root@node2:/server/ 
scp -r /server/hadoop-2.7.6 root@node3:/server/

6、远程拷贝环境变量到集群中其余机器：

scp -r /etc/profile root@node2:/etc/ 
scp -r /etc/profile root@node3:/etc/

在其余节点上重新加载环境变量配置文件 source /etc/profile
7、测试是否安装配置成功：hadoop version 可以查看版本信息

七、启动hadoop

1、要启动 hadoop，实际上是启用了 hdfs 和 yarn 两个集群。
注意：首次启动 hdfs 的时候，必须对其进行格式化操作。 本质上是一些清理和准备工作，因
为此时 HDFS 在物理上还是不存在的。
2、初始化 hadoop：
hadoop namenode -format 或者 hdfs namenode -format
3、hadoop 启动：

1. 单节点逐个启动（不使用）
2. 脚本一键启动
   A、确认已经配置了 slaves 和 ssh 免密登陆；
   B、在主节点上使用一键启动脚本
   第一、进入/server/hadoop-2.7.6/sbin 文件夹 cd /server/hadoop-2.7.6/sbin
   第二、启动脚本 ./start-all.sh
   4、查看启动情况
   服务器输入：jps

八、Windows 浏览器查看：web-ui 查看集群

1、可以在 windows 中配置 ip 地址映射，以方便操作集群

1. 进入 C:\Windows\System32\drivers\etc
2. 编辑 hosts 文件
   192.168.85.101 node1
   192.168.85.102 node2
   192.168.85.103 node3
3. 在 dos 环境下使用 ping 命令测试是否可用 ping node1

九、hdfs 简单使用

1. 查看 hdfs 集群： http://192.168.85.101:50070/ 或者 http://node1:50070/
2. 查看 yarn 集群： http://192.168.85.101:8088/
3. 命令查看 hdfs：
4. 查看 hdfs 文件系统中的文件： hdfs fs ls / 或者 hadoop fs ls /
5. 创建文件夹： hadoop fs -mkdir /hello
6. 上传文件： hadoopfs -put /1.txt /