在线和离线安装Cloudera CDH 5.6.0

在线和离线安装Cloudera CDH 5.6.0

1. 介绍

在实验室安装过社区版的Hadoop，当时用的是普通PC机，安装的过程遇到了好多问题。当解决了大部分的安装问题之后由于实验室的需求，需要安装一个商业发行版的Hadoop ，我们就采用的Cloudera 公司发行的版本。首先要说明的是CDH对内存要求比较高，当我们采用原来的4G内存的PC机，只要启动基本内存就满了，并且会拖慢整个集群的运算速度。所以说安装CDH对硬件的要求比较高。安装CDH 有三种安装方式：在线安装、半离线安装、离线安装。在线安装和离线安装我都安装过，虽然在线安装貌似简单但是实际用起来还是没有离线安装方便，我还是建议大家采用离线安装的方式。不过下面都会介绍在线安装的方式和离线安装的方式。希望对别人有所帮助。

2.0 硬件基础：

64G内存和4TSATA硬盘的服务器两台，一台32G内存的工作站
操作系统为Ubuntu14.04LTS系统，一个master节点带2 个slave节点

3. 准备工作：系统环境配置

以下操作皆在root用户下操作 没有注明仅在主节点操作时，在所有节点都要执行

3.1 安装Ubuntu14.04系统

在线安装时，注意在分区时一定要把硬盘空间主要分到/根节点下，因为采用Cloudera Manger 的在线安装方式，是把所有的软件安装在根节点下面。

3.2 设置hosts

root@master: vi /etc/hosts

192.168.1.10    mster
192.168.1.11    slave1
192.168.1.12    slave2
192.168.1.13    slave3

3.3 关闭防火墙

root@master:ufw disable

3.4 设置静态IP

root@master:sudo vi /etc/network/interfaces
添加如下

auto eth0
iface eth0 inet static
address 192.168.0.117
gateway 192.168.0.1 #
netmask 255.255.255.0

3.5 安装Oracle JDK 7（所有节点）

CDH要求至少是Oracle JDK7Ubuntu自带的是OpenJDK，而Ubuntu没有自带的Oracle JDK,需要添加PPP源，添加 PPA repository 到系统

root@master:add-apt-repository ppa:webupd8team/java
root@master:apt-get update
root@master:sudo apt-get upgrade
root@master:apt-get install oracle-java7-installer
root@master:apt-get install oracle-java7-set-default
root@master:java -version

3.6 所有节点免密码SSH登陆

使用ssh-keygen 和ssh-copy-id 实现SSH无密码登陆

1. 在各个节点使用产生公钥私钥对
   bigdata@master:ssh-keygen -t rsa -P
2. 将各个节点上公钥复制到主节点
   bigdata@slave1:ssh-copy-id -i ~/.ssh/id_rsa.pub master
3. 查看各个节点的公钥是否追加到了主节点上
   bigdata@master:cat ~/.ssh/authorized_keys
4. 把主节点上的authorized_keys文件发送到各个节点实现无密码登陆
   bigdata@master:scp ~/.ssh/authorized_keys bigdata@slave1:/home/bigdata/.ssh/
5. 修改ssh配置文件使能够在root用户也能免密码采用(所有节点）不然后面安装会报错
   root@master:vi /etc/ssh/sshd_config
   找到PermitRootlogin 一行把后面修改成yes
6. 重启ssh
   root@master:/etc/init.d/ssh restart或者service ssh restart
7. 注意查看ssh是否启动成功

3.7 建立数据库（仅主机）

<