CDH-Hadoop集群CentOS下的搭建(离线安装)

说明：在本地虚拟机环境中进行CDH5.7.2集群的搭建，在搭建之前请先在虚拟机上装好三台CentOS7，三台内存分别为8g,2g,2g，博客为原创，转载请标明出处，另外由于各环境有版本等情况不同，大家在安装时特别是第一次安装的时候可能遇到的坑与我遇到的不一样，这个时候要仔细看下agent和server的日志种是否有报错然后可以网上查找解决办法

• 文章中版本基于CDH5.7.2，不常登录csdn，问题回复不及时，如有疑问可以添加yangwang77778微信进行交流，备注csdn，谢谢

准备

• JDK环境
  版本：jdk-8u101-linux-x64.rpm
  下载地址：oracle官网
• mysql
  rpm包：http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar
  jdbc连接包mysql-connector-java.jar:
  http://dev.mysql.com/downloads/connector/j/
• CDH安装相关的包
• cloudera manager包 ：5.7.2 cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz
  下载地址：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz
• CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel
• CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha1
• manifest.json
  以上三个下载地址在http://archive.cloudera.com/cdh5/parcels/5.7.2/，注意centos要下载el7的，我就因为一开始不清楚下的el5，结果提示parcels不知道redhat7，搞了好久才还原到初始重新来过
• 虚拟机准备：相关安装略过，准备好三台环境一样的centos在本地虚拟机VMWare上，建议三台内存分别为8g,2g,2g，其中最大的那台可以当作主机，如果内存不够就设少点，三台虚拟机情况如下：
  | IP地址| 主机名 | 说明|
  |-----|--------|-----|
  | 192.168.160.130 | hadoop1 |主节点master,datanode |
  | 192.168.160.131 | hadoop2 | datanode |
  | 192.168.160.132 | hadoop3 | datanode |

开始安装前配置和预装软件

• 安装jdk（每台机器都要）
  首先卸载原有的openJDK

[root@hadoop1~]$ java -version
java version "1.7.0_75"
OpenJDK Runtime Environment (rhel-2.5.4.2.el7_0-x86_64 u75-b13)
OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)
[root@hadoop1~]$ rpm -qa | grep jdk
java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
[root@hadoop1~]# yum -y remove java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
[root@hadoop1~]# yum -y remove java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
[root@hadoop1~]# java -version
bash: /usr/bin/java: No such file or directory
[root@hadoop1~]# rpm -ivh jdk-8u101-linux-x64.rpm 
[root@hadoop1~]# java -version
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

• 修改每台节点服务器的有关配置hostname、selinux关闭，防火墙关闭
  hostname修改：分别对三台都进行更改，并且注意每台名称和ip，每台都要配上hosts

[root@hadoop1~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop1

[root@hadoop1~]# vi /etc/hosts
127.0.0.1 localhost.hadoop1
192.168.160.132  hadoop3
192.168.160.130  hadoop1
192.168.160.131  hadoop2

selinux关闭(所有节点官方文档要求)

[root@hadoop1~]# vim /etc/sysconfig/selinux
SELINUX=disabled
重启才能生效
重启后检查
[root@hadoop1~]#sestatus -v
SELinux status: disabled
表示已经关闭了

关闭