搭建Hadoop

一、创建Linux最小系统
1、安装最小系统
2、修改虚拟机的虚拟网络编辑器，网段改为192.168.200.0
网关为192.168.200.2
3、在windows的命令提示符下输入ipconfig查看是否有192.168.200.1的以太网适配器 VMware Network Adapter VMnet8
二、改主机名
1、使用nmtui图形化工具配置
2、命令行配置
hostnamectl set-hostname master
三、设置静态IP
1、使用nmtui图形化工具配置
2、命令行配置
vi /etc/sysconfig/network-scripts/ifcfg-eth0
如下设置：
IPADDR=192.168.200.101
PREFIX=24
GATEWAY=192.168.200.2
DNS1=192.168.200.2
3、在windows的命令提示符下输入
ping 192.168.200.101看是否能ping通
4、在master上输入
ping www.baidu.com(需要Windows主机联外网）看是否能ping通
5、用xshell或其他的ssh工具连接
四、设置hosts文件
vi /etc/hosts
加入以下内容：
192.168.200.101 master
192.168.200.102 slave1
192.168.200.103 slave2
五、关闭并禁止防火墙
systemctl stop firewalld
systemctl disable firewalld
六、安装jdk1.8
1、新建文件夹存放软件
mkdir /opt/soft
复制jdk-8u171-linux-x64.tar.gz到此文件夹
2、新建文件夹存放安装的目录
mkdir /usr/java
3、解压到安装目录
tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz -C /usr/java/
4、配置环境变量
修改环境变量：vi /etc/profile
添加内容如下：
export JAVA_HOME=/usr/java/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
生效环境变量：
source /etc/profile
七、在master上配置hadoop
1、上传到 /opt/soft
2、解压
mkdir -p /usr/hadoop
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop
3、配置环境变量
vi /etc/profile
加入下面内容
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
保存退出后执行
source /etc/profile
4、修改配置文件(/usr/hadoop/hadoop-2.7.3/etc/hadoop/)
（1）hadoop-env.sh
vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171
（2）core-site.xml
vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml
修改如下



fs.default.name
hdfs://master:9000



hadoop.tmp.dir
/usr/local/src/hadoop-2.7.3/hdfs/tmp


（3）hdfs-site.xml
vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
修改如下：



dfs.namenode.secondary.http-address
slave1:9001


（4）mapred-site.xml
复制生成文件
cd /usr/hadoop/hadoop-2.7.3/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
修改如下：



mapreduce.framework.name
yarn


（5）yarn-site.xml
vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml
修改如下：



yarn.resourcemanager.hostname
master



yarn.nodemanager.aux-services
mapreduce_shuffle


（6）slaves（datanode的位置)
vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves
删除原有内容，修改如下：
master
slave1
slave2
八、复制生成slave1、slave2主机
1、克隆生成slave1
修改hostname为slave1
修改IP为192.168.200.102
2、克隆生成slave2
修改hostname为slave2
修改IP为192.168.200.103
九、ssh免密
（master执行->master|slave1|slave2）
ssh-keygen #4个回车 生成公钥、私钥
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
同理 在slave1、slave2上执行（可以同时输入操作）
十、时间同步（需要连接外网）
集群时间同步（3台机器）
yum -y install ntpdate
ntpdate ntp4.aliyun.com
十一、启动hadoop(在master上运行）
1、初始化namenode
hdfs namenode -format
2、在master运行
start-all.sh
十二、查看
1、在master、slave1、slave2上执行jps查看进程
2、在windows主机上输入namenodeIP+端口号
http://192.168.200.101:50070/查看HDFS管理界面
http://192.168.200.101:8088/查看yarn管理界面
十三、关闭Hadoop集群
在master（namenode）运行
stop-all.sh