Hadoop(原生态的)

author：姚建松
Hadoop 集群部署文档
一、准备工作
准备工作：
现在有 3 台机器，这里以 centos6.8-64 位为例，以 minimal 方式安装
192.168.1.101
192.168.1.102
192.168.1.103
在 3 台节点上都先关闭防火墙
iptables –F
chkconfig iptables off
setenforce 0
vi /etc/selinux/config
SELINUX=disable
1，分别为 3 台节点更改主机名
用类似
hostname c1
的命令更改每一台主机的主机名，并更改配置文件
vi /etc/sysconfig/network
HOSTNAME=c1
2. 这里我们把 ip 映射成主机名，执行如下命令
vi /etc/hosts
在 hosts 文件中，如以下内容
192.168.1.101
192.168.1.102
192.168.1.103
保存退出
c1
c2
c3
3. 然后用 root 身份将 hosts 文件发送到其它节点上
（scp 安装命令）
yum install –y openssh-clients
scp /etc/hosts
scp /etc/hosts
c2:/etc/
c3:/etc/
在发送的过程中需要输入 root 用户的密码

二、配置免密码登录
然后在家目录下执行 ssh-keygen -t rsa 命令，不用管提示，一路回车，直到命令执行完成
再去其他节点执行相同的操作
例如: ssh node2 (跳转到 node2 节点)

1. 生成本机的密钥对
   ssh-keygen –t rsa –P ‘’
2. 复制秘钥去其他机器要免密登录的机器，如：
   ssh-copy-id c1
   ssh-copy-id c2
   ssh-copy-id c3
   ssh-copy-id localhost
3. 验证免密登录
   ssh c2
   ssh c3
   ssh c1

三、安装 JDK
下面这个地址下载 JAVA8—jdk1.8
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
8u131 及其他版本地址，推荐下载 8u131 的 Oracle 官方地址：
http://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html
yum install –y wget

JAVA 环境的安装和设置在 3 台节点都要进行配置

1. rpm -ivh jdk-8u131-linux-x64.rpm
2. vi /etc/profile.d/java.sh
   export JAVA_HOME=/usr/java/jdk1.8.0_131
3. 执行刚才设置过的脚本
   source /etc/profile
4. 验证环境变量是否设置成功
   env | grep JAVA

四、安装 Hadoop 和启动
下面这个地址下载 hadoop2.7.3 版本的 64 位官方镜像：
http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/
教室环境
http://192.168.0.150/teacher/robbin/hadoop-2.7.3.tar.gz
在 c1 下载后，输入以下命令解压
tar -zxvf hadoop-2.7.3.tar.gz
解压完后删除压缩包，并修改文件夹名称
mv hadoop-2.7.3 hadoop
mv hadoop /opt
在 3 台节点
/etc/profile.d/hadoop.sh 中加上 hadoop 的环境变量设置，即
vi /etc/profile.d/hadoop.sh
export HADOOP_PREFIX=/opt/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
source /etc/profile
env | grep HADOOP
进入 c1 的 hadoop 的配置文件目录/opt/hadoop/etc/hadoop，键入命令及修改以下配置文件

1. hdfs 的基础配置，hdfs-site.xml 文件
   mkdir –p /opt/hadoop/data/nd
   mkdir –p /opt/hadoop/data/dd
   vi /opt/hadoo/etc/hadoop/hdfs-site.xml
   
   
   dfs.replication
   3
   
   
   dfs.namenode.name.dir
   /opt/hadoop/data/nd
   
   
   dfs.datanode.data.dir
   /opt/hadoop/data/dd
   
   
2. 配置 core-site.xml 文件
   mkdir -p /opt/hadoop/tmp/hadoop
   vi /opt/hadoop/etc/hadoop/core-site.xml

fs.defaultFS hdfs://c1 hadoop.tmp.dir /opt/hadoop/tmp/hadoop 3. 配置 datanode 所在的节点：c1 c2 c3 vi /opt/hadoop/etc/hadoop/slaves c1 c2 c3 4. 配置 secondarynamenode 到 c2 上 vi hdfs-site.xml dfs.namenode.secondary.http-address c2:50090 5. 更改 mapreduce 配置文件，（在/opt/hadoop/etc/hadoop 目录下） mv mapred-site.xml.template mapred-site.xml vi mapred-site.xml mapreduce.framework.name yarn 6. 配置 Yarn vi yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname c1 把配置完成的 hadoop 目录复制到所有节点 scp –r /opt/hadoop c2:/opt scp –r /opt/hadoop c3:/opt 若只修改配置文件，则只需复制 etc 目录到所有节点，命令如下： scp –r /opt/hadoop/etc c2:/opt/hadoop scp –r /opt/hadoop/etc c3:/opt/hadoop hdfs 格式化和启动 格式化命令如下: /opt/hadoop/bin/hdfs namenode –format 启动 hdfs： /opt/hadoop/sbin/start-dfs.sh 关闭 hdfs： /opt/hadoop/sbin/stop-dfs.sh 启动 yarn： /opt/hadoop/sbin/start-yarn.sh 关闭 yarn： /opt/hadoop/sbin/stop-yarn.sh 启动任务历史服务器：

/opt/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
关闭历史服务器：
/opt/hadoop/sbin/mr-jobhistory-daemon.sh stop historyserver
hadoop 访问
在浏览器中访问—如：
http://192.168.106.148:50070
yarn 访问：
http://192.168.106.148:8088
查错

1. jps 命令来查询是否启动了 namenode 和 datanode 等进程
   查看相应进程的配置文件
2. 看/opt/hadoop/sbin/start-dfs.sh 启动时的报错信息
3. 用/opt/hadoop/sbin/stop-dfs.sh 停止所有节点服务，再尝试重启进程
4. netstat –tan 查看各个端口，是否有监听，如 50070 等
5. 更改主节点配置后要 copy 配置去其他节点
6. 更改数据文件夹等内容的相关配置，要重新格式化 hdfs，再启动进程
7. 查看/opt/hadoop/data/dd 目录下的 clusterid 是否与 namenode 一致