rhel6.5+CDH5.14+CM 2台集群安装说明

声明：
本文是本人经过N次安装实验后整理编写，安装配置过程中参考了大量的网上资料，正文中也有引用，在此表示感谢！因为自己安装配置经历比较坎坷，长达2个月坚持不懈的努力（跨过元旦、春节），总算把基础环境搭建起来了。这里也记录了自己安装配置过程中遇到的所有问题与解决办法。希望后边学习的人，能在此文的帮助下，顺利的搭建好测试环境。如有错误，还请谅解指正，谢谢！

rhel6.5+CDH5.14+CM
2台集群安装说明

目录
1 环境准备说明 4
2 操作系统安装与配置 4
2.1 系统安装 4
2.2 系统配置 19
2.2.1 配置网络 19
2.2.2 关闭SELINUX与防火墙 20
2.2.3 修改hosts文件 21
2.2.4 解除linux系统打开文件最大数量的限制 22
2.2.5 给系统打补丁 22
3 主节点JDK安装及配置 24
4 主节点mysql安装及配置 25
4.1 安装mysql 25
4.2 配置mysql 26
5 主节点安装cloudera-manager 26
5.1 FTP上传 26
5.2 安装配置CM 27
5.3 CDH5配置 28
5.4 启动测试 28
5.5 配置NTP时间同步服务器 29
6 设置ssh无密码登陆(所有节点) 29
7 子节点配置 30
7.1 主节点–复制软件到子节点 30
7.2 子节点 30
8 安装配置CDH 32
8.1 启动服务器 32
8.1.1 启动 32
8.1.2 CDH重新安装配置 32
8.2 配置CM集群 34
8.2.1 登陆WEB服务 34
8.2.2 输入用户名密码 35
8.2.3 用户许可条款 35
8.2.4 选择CDH版本 36
8.2.5 选择服务器 37
8.2.6 选择CDH文件位置 37
8.2.7 开始配置 38
8.2.8 大数据组件安装 39
8.2.9 集群启动 43
8.2.10 修改数据节点数 44
9 异常处理 44
9.1 Hive-- Failed to load driver 44
9.2 Hue-- No such file or directory 44
9.3 Yarn–RuntimeException: Error creating done directory: 44
9.4 Hbase–Failed to become active master 45
9.5 Hbase–RegionServer–Region server exiting 45
9.6 HDFS–java.io.FileNotFoundException: /dfs/nn/current/VERSION (权限不够) 45
9.7 HDFS–java.io.IOException: NameNode is not formatted 46
9.8 HDFS–Failed to add storage directory [DISK]file:/dfs/dn/ 46
9.9 HDFS–Suppress Health Test: Corrupt Blocks 46
9.10 HDFS–金丝雀 47
9.11 HDFS–测试不足块、丢失块问题（未解决） 47
9.12 Hive–Unable to instantiate 48
10 组件服务验证 48
10.1 HDFS验证(mkdir+put+cat+get) 48
10.1.1 上传文件 48
10.1.2 下载文件 49
10.1.3 调用JAR包 49
10.2 Hive验证 49
10.2.1 配置链接远端hive库 49
10.2.2 内部部表 50
10.2.3 外部表 51
10.3 MapReduce验证 51
10.4 Hbase验证 52
10.4.1 创建表 52
10.4.2 查看表 52
10.4.3 表修改 53
10.4.4 数据处理 53
10.4.5 表管理 55

1 环境准备说明
192.168.68.130 hadoop130
192.168.68.131 hadoop131
分类 版本 备注
操作系统 rhel-server-6.5-x86_64-dvd.iso
JDK jdk-8u191-linux-x64 .tar.gz
Mysql MySQL-5.6.42-1.el6.x86_64.rpm-bundle.tar
mysql链接驱动 mysql-connector-java-5.1.47.tar.gz
cloudera-manager cloudera-manager-el6-cm5.14.0_x86_64.tar.gz
CDH CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel
CDH CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1
CDH manifest.json

2 操作系统安装与配置
2.1 系统安装

2.2 系统配置
2.2.1 配置网络
vi /etc/sysconfig/network-scripts/ifcfg-eth0

service network restart

2.2.2 关闭SELINUX与防火墙
vi /etc/selinux/config
将SELINUX=enforcing改为 SELINUX=disabled 。

查看防火墙状态
service iptables status
service iptables off
chkconfig iptables off

2.2.3 修改hosts文件
hosts文件主要是把ip和主机名映射起来。

vi /etc/hosts

192.168.68.130 hadoop130
192.168.68.131 hadoop131

2.2.4 解除linux系统打开文件最大数量的限制
vi /etc/security/limits.conf

• soft noproc 11000
• hard noproc 11000
• soft nofile 65535
• hard nofile 65535

echo 0 > /proc/sys/vm/swappiness
echo “vmswappiness=0” >> /ect/sysctl.conf
echo “echo 0 > /proc/sys/vm/swappiness” >> /etc/rc.d/rc.local
cat /proc/sys/vm/swappiness

vi /etc/sysctl.conf

添加或修改

vm.swappiness = 0

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

vi /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

2.2.5 给系统打补丁
2.2.5.1 linux挂载光驱文件

mkdir /mnt/cdrom

mount /dev/cdrom /mnt/cdrom
cd /mnt/cdrom/Packages

2.2.5.2 CDH需要的补丁
ll |grep perl-devel

rpm -ivh --nodeps --force perl-5.10.1-136.el6.x86_64.rpm
rpm -ivh --nodeps --force perl-libs-5.10.1-136.el6.x86_64.rpm
rpm -ivh --nodeps --force perl-devel-5.10.1-136.el6.x86_64.rpm

rpm -ivh apr-1.3.9-5.el6_2.x86_64.rpm
rpm -ivh postgresql-libs-8.4.18-1.el6_4.x86_64.rpm
rpm -ivh apr-util-1.3.9-3.el6_0.1.x86_64.rpm
rpm -ivh apr-util-ldap-1.3.9-3.el6_0.1.x86_64.rpm
rpm -ivh --nodeps --force apr-devel-1.3.9-5.el6_2.x86_64.rpm

rpm -ivh --nodeps --force gcc-c+±4.4.7-4.el6.x86_64.rpm
rpm -ivh --nodeps --force gcc-4.4.7-4.el6.x86_64.rpm
rpm -ivh --nodeps --force libXrender-0.9.7-2.el6.x86_64.rpm

rpm -ivh mod_ssl-2.2.15-29.el6_4.x86_64.rpm

2.2.5.3 安装NTP服务
ll |grep ntp

rpm -ivh ntpdate-4.2.6p5-1.el6.x86_64.rpm
rpm -ivh --nodeps --force ntp-4.2.6p5-1.el6.x86_64.rpm

2.2.5.4 安装HTTPD
rpm -ivh httpd-2.2.15-29.el6_4.x86_64.rpm
rpm -ivh httpd-tools-2.2.15-29.el6_4.x86_64.rpm
rpm -ivh --nodeps --force httpd-manual-2.2.15-29.el6_4.noarch.rpm

2.2.5.5 安装SCP
rpm -ivh libedit-2.11-4.20080712cvs.1.el6.x86_64.rpm
rpm -ivh openssh-clients-5.3p1-94.el6.x86_64.rpm

2.2.5.6 安装mysqls补丁
rpm -ivh numactl-2.0.7-8.el6.x86_64.rpm
rpm -ivh libaio-0.3.107-10.el6.x86_64.rpm
rpm -ivh libaio-devel-0.3.107-10.el6.x86_64.rpm

2.2.5.7 重启机器
reboot -h now

（循环以上安装配置步骤，安装多台机器）
3 主节点JDK安装及配置
mkdir -p /export/softwares
cd /export/softwares/

#FTP 上传文件
tar -zxvf jdk-7u80-linux-x64.tar.gz -C /opt/

vi /etc/profile

export JAVA_HOME=/opt/jdk1.7.0_80
export PATH=: J A V A H O M E / b i n : JAVA_HOME/bin: