hadoop集群环境搭建

一. 安装配置说明

1. hadoop版本：使用hadoop2.7.6(下载网址：https://www.apache.org)
2. Linux系统版本：采用Centos 6.8 64位系统（官网：https://www.centos.org 或 者：http://archive.kernel.org/）
3. 每一台虚拟机的网络模型必须是 NAT 模式，并且需要保证每台电脑都可以访问外网。
4. 各个服务器时间必须统一。
5. 使用SecureCRT操作虚拟机。

二. 准备软件及素材

1. hadoop安装包 2. jdk安装包 3. SecureCRT 8.3安装包(已安装)

三. 服务器配置

1. 同步服务器时间
   (1) 查看当前服务器日期及时间：date
   (2) 设置服务器日期： date -s “2019-01-01”
   (3) 设置服务器时间：date -s “9:00:00”
   (4) 设置日期及时间：date -s “2019-01-01 9:00:00”
2. 设置服务器主机名
   (1) 找到主机名配置文件 /etc/sysconfig/network
   (2) 编辑network文件，设置主机名：HOSTNAME=主机名 3) 重启服务器 reboot
3. 配置服务器防火墙
   (1) 查看防火墙状态：service iptables status
   (2) 关闭防火墙：service iptables stop
   (3) 打开防火墙：service iptables start
   (4) 永久关闭防火墙(需要重启)：chkconfig iptables off
4. 配置IP.主机名映射
   (1) 文件路径：/etc/hosts
   (2) 映射路径语法：IP地址 主机名 示例: 192.168.85.101 node1 192.168.85.102 node2 192.168.85.103 node3
5. 设置SSH免密登录
   (1) 首先再各台主机中安装必要的命令：expect.wget.httpd.ssh，执行命令 如：expect 提示命令不存在，则分别安装命令 yum install expect，yum install wget，yum install httpd，yum install ssh，安装完成后，需要启动httpd服务，service httpd start。
   (2) 配置
   a.生成公钥私钥对 #ssh-keygen -t rsa //一路默认回车，系统在/root/.ssh 下生成 id_rsa. id_rsa.pub
   b.把 id_rsa.pub 发送到服务端机器上 #ssh-copy-id -i /root/.ssh/id_rsa.pub 电脑 IP 地址
   c.验证 #ssh 电脑 IP 地址

四. JDK 安装及环境变量配置

1. SCP 文件传输：安装rs.rt工具 通过在 Linux 界面里输入 rz/sz 命令来上传/下载文件. 对于某些 linux 版本, rz/sz 默认没有 安装所以需要手工安装。
   （1）sz: 将选定的文件发送(send)到本地机器;
   （2）rz：运行该命令会弹出 一个文件选择窗口, 从本地选择文件上传到服务器(receive).
   （3）yum安装：yum install lrzsz
2. 查看是否安装过java java -version 可以查看当前java使用的版本 rpm -qa | grep java 查看当前系统存在的java包 rpm -e --nodeps + 包名 解压： tar -xzvf 压缩包名
3. jdk环境变量配置

1. 在环境变量配置文件中添加java环境变量 在etc/profile中添加如下语句：

export JAVA_HOME=/opt/jdk1.8.0_171    
export PATH=$JAVA_HOME/bin:$PATH    
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

2. 重新加载环境变量配置文件 source /etc/profile

五. Hadoop 安装文件处理

参见附件的资料中的hadoop文件：
bin:脚本目录，一般都是管理脚本或者使用脚本目录
etc:hadoop配置文件所在的目录
include:c++相关的定义
lib:和c++相关的一些编程动态库和静态库
sbin:hadoop管理脚本所在的目录，主要包含HDFS和YARN中各类服务的启动/关闭脚 本
share:hadoop 各个模块编译后的jar包所在的目录
libexec:各个服务对用的shell配置文件所在的目录，可用于配置日志输出.启动参数等信 息

六.配置 hadoop

1. 上传 hadoop-2.7.6.tar.gz 到/server。解压到/server 目录中 # tar -xzvf hadoop2.7.6.tar.gz。删除安装包 # rm -rf hadoop-2.7.6.tar.gz
2. /server/hadoop-2.7.6/etc/hadoop 文件夹中的文件修改 参见给附件提供的资料中 的hadoop配置（敲重点：我的主机名是node1、node2、node3，如果你的主机名和我不一样对应的配置文件是要改的）。
3. 配置hadoop环境变量： vi /etc/profile 输入内容：

export HADOOP_HOME=/server/hadoop-2.7.6  
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 

4. 重新加载环境变量 ： source /etc/profile
5. 远程拷贝hadoop到集群中其余机器： scp -r /server/hadoop-2.7.6 root@node2:/server/ scp -r /server/hadoop-2.7.6 root@node3:/server/
6. 远程拷贝环境变量到集群中其余机器： scp -r /etc/profile root@node2:/etc/ scp -r /etc/profile root@node3:/etc/ 在其余节点上重新加载环境变量配置文件 source /etc/profile
7. 测试是否安装配置成功：hadoop version可以查看版本信息

七.启动 hadoop

1. 要启动hadoop，实际上是启用了hdfs和yarn两个集群。 注意：首次启动 hdfs 的时候，必须对其进行格式化操作。 本质上是一些清理和准备工作，因 为此时 HDFS 在物理上还是不存在的。
2. 初始化hadoop： hadoop namenode -format 或者 hdfs namenode -format
3. hadoop启动：
   (1) 单节点逐个启动（不使用）
   (2) 脚本一键启动
   a.确认已经配置了 slaves 和 ssh 免密登陆；
   b.在主节点上使用一键启动脚本
   第一.进入/server/hadoop-2.7.6/sbin 文件夹 cd /server/hadoop-2.7.6/sbin
   第二.启动脚本 ./start-all.sh
4. 查看启动情况
   服务器输入：jps

八.Windows 浏览器查看：web-ui 查看集群

1. 可以在windows中配置ip地址映射，以方便操作集群
   (1) 进入 C:\Windows\System32\drivers\etc
   (2) 编辑 hosts 文件 在最底部加入虚拟机ip和主机名，我的是
   192.168.85.101 node1
   192.168.85.102 node2
   192.168.85.103 node3
   (3) 在 dos 环境下使用 ping 命令测试是否可用 ping node1

九.hdfs 简单使用

1. 查看 hdfs 集群： http://192.168.85.101:50070/ 或者 http://node1:50070/
2. 查看 yarn 集群： http://192.168.85.101:8088/
3. 命令查看 hdfs：
4. 查看 hdfs 文件系统中的文件： hdfs fs ls / 或者 hadoop fs ls /
5. 创建文件夹： hadoop fs -mkdir /hello
6. 上传文件： hadoopfs -put /1.txt /

附件下载地址：https://download.csdn.net/download/xiao_xiao_b/11245074