hadoop分布式部署过程

一、centos常用命令及说明

su root

rm -rf 文件夹   （删除）

vim/vi 文件    （打开文件）

【一】修改文件

如果是使用普通用户登录的，需要先切换到管理员用户，打开终端，输入：su，接着按提示输入密码即可；然后使用命令进入需要修改文件的所在目录，常用的几个命令如下：

① cd + 目录名

② cd + 空格（退回上级目录）

③ cd + 空格 + /（退回最高级目录）

接着使用命令：vi + 文件名命令，打开文件，然后输入命令：/ + 要修改的关键词，查找到要修改的内容，然后使用命令进入【文本输入模式】，常用的命令如下：

① a 在光标之后开始输入文本
② A 在行尾开始输入文本
③ i 在光标之前开始输入文本
④ I 在行首第一个非空白字符前输入文本
⑤ o 在光标所在行后插入一空行
⑥ O 在光标所在行前插入一空行

【二】保存退出

修改好文件后，如果在【文本输入模式】下，首先按“ESC” 键进入【命令模式】，然后输入“:”，进入【末行模式】，在末行模式下，可使用如下退出命令：

① q 是直接退出；

② wq 保存后退出；

③ q! 强制退出；

④ wq! 强制保存退出；

jdk位置：/usr/java/jdk1.8.0_202-amd64

hadoop位置：/home/joe/hadoop-2.2.0

二、环境准备

一律设置用户名和密码为joe

（1）修改机器名

常看机器名：hostname

su - root 获取root用户权限

vim /etc/sysconfig/network

HOSTNAME=cMaster（自己定）cSlave0  cSlave1

reboot（重启后才会生效）

（2）添加域名映射

ifconfig获取IP地址，如cMaster地址为192.168.15.128，cSlave0为192.168.15.131，cSlave1为192.168.15.130

su - root 获取root用户权限

vi /etc/hosts  

加入192.168.15.128 cMaster

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
#127.0.0.1      localhost
#127.0.0.1      cMaster
192.168.15.128  cMaster
192.168.15.132  cSlave1
192.168.15.131  cSlave0

cSlave0

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
127.0.0.1       localhost
192.168.15.131  cSlave0
192.168.15.132  cSlave1
192.168.15.128  cMaster 

（3）关闭防火墙（需在root下）

#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

（4）安装 jdk（还是在root下安装）

rpm -ivh /home/joe/jdk-8u202-linux-x64.rpm

暂时先不添加环境变量

三、部署（传统解压包部署）

 （1）解压/home/joe/hadoop-2.2.0.tar.gz

文件放入/home/joe，在/home/joe下解压（注意：一定要在joe账户下安装，否则被保护）

tar -zxvf /home/joe/hadoop-2.2.0.tar.gz   

（2）编辑文件“/home/joe/hadoop-2.2.0/etc/hadoop/hadoop-env.sh”

export JAVA_HOME=/usr/java/jdk1.8.0_202-amd64

这里的“/usr/java/jdk1.8.0_202-amd64”就是 jdk 安装位置

（3）编辑文件 “/home/joe/hadoop-2.2.0/etc/hadoop/core-site.xml” 并将如下内容嵌入到此文件里 configuration 标签间（红色字体替换成自己的用户名）

注意：/home/joe/cloudData是我们设置的临时文件地址

<property><name>hadoop.tmp.dir</name><value>/home/joe/cloudData</value></property>
<property><name>fs.defaultFS</name><value>hdfs://cMaster:8020</value></property>

（4）编辑文件 “/home/joe/hadoop-2.2.0/etc/hadoop/yarn-site.xml”， 并将如下内容嵌入到此文件里 configuration 标签间

<property><name>yarn.resourcemanager.hostname</name><value>cMaster</value></property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

（5）将文件“/home/joe/hadoop-2.2.0/etc/hadoop/mapred-site.xml.template ”重命名为“/home/joe/hadoop-2.2.0/etc/hadoop/mapred-site.xml”，接着编辑此文件并将如下内容嵌入到此文件的 configuration 标签间

<property><name>mapreduce.framework.name</name><value>yarn</value></property>

（6）将hadoop添加到环境变量

一定先获取root权限

vim /etc/profile

export  JAVA_HOME=/usr/java/jdk1.8.0_202-amd64
export  HADOOP_HOME=/home/joe/hadoop-2.2.0
export  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile   （使修改后立即生效）注意export后是tab

（7）启动 hadoop（启动前在主节点 cMaster 上格式化主节点命名空间）需关闭所有服务，然后格式化

hadoop-2.2.0/bin/hdfs namenode -format（多次format会出问题）

如果多次启动了，删除所有虚拟机/home/joe/cloudData文件夹

（8） 在主节点 cMaster 上启动存储主服务 namenode 和资源管理主服务 resourceManager

hadoop-2.2.0/sbin/hadoop-daemon.sh start namenode 

hadoop-2.2.0/sbin/yarn-daemon.sh start resourcemanager

在从节点上启动存储从服务 datanode 和资源管理从服务 nodemanager

hadoop-2.2.0/sbin/hadoop-daemon.sh start datanode

hadoop-2.2.0/sbin/yarn-daemon.sh start nodemanager

（9）验证

命令 jps：会显示进程

cMaster里：NameNode和ResourceManager

cslave0里：DataNode和NodeManager

浏览器地址栏输入以下地址：

cMaster:8088：可在 web 界面看到 hdfs 相关信息。

cMaster:50070：可在 web 界面看到 yarn 相关信息。

附：另外一种启动hadoop的方式
    ./start-all.sh    
    或者先启动HDFS      sbin/start-dfs.sh
            再启动YARN     sbin/start-yarn.sh
    有个小问题(之后要重复输密码)

（10）如果windows想通过cMaster:50070等看信息。需要再windows的hosts里添加映射文件 

C:\Windows\System32\drivers\etc\hosts