关于CDH5安装的步骤及注意事项

注：此为hadoop CDH5.11离线安装

 

一、准备

 

安装所需文件

1 官网下载Cloudera Manager和CDH 5.11

Cloudera Manager下载地址：
http://archive.cloudera.com/cm5/cm/5/

cloudera-manager-el6-cm5.11.0_x86_64.tar.gz

CDH安装包

http://archive.cloudera.com/cdh5/parcels/latest/

 

CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel

CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1

manifest.json

 

2 JDK 7

jdk-7u80-linux-x64.tar.gz

 

3 mysql 5.6和最新的mysql JDBC connector

mysql-5.6.36-linux-glibc2.5-x86_64.tar.gz

mysql-connector-java-5.1.44-bin.jar

二、CentOS6.5安装

 

用户/密码

root/XXXX

XXX/123

主机名 IP

master 192.168.10.111

slave1 192.168.10.121

slave2 192.168.10.131

 

配置/etc/hostname

分别是maser和slave1和slave2

 

3台都配置/etc/hosts

加入

 

用户/密码

root/anian123

anjian/anjian123

主机名 IP

master 192.168.10.11  

slave1 192.168.10.12

slave2 192.168.10.13

 

配置/etc/hostname

分别是maser和slave1和slave2

 

3台都配置/etc/hosts

加入:

192.168.111 master

192.168.121 slave1

192.168.131 slave2

 

 

注：安装过程都使用root用户

  

CDH 安装在/opt。

CDH在var目录会放文件，要预留空间

数据保存在/data

 

三、配置SSH无密码登录

 

1.查看是否安装openssh和rsync

rpm -qa | grep openssh

rpm -qa | grep rsync

 

 

2. 3台都运行

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

(-t dsa：表示使用密钥的加密类型，可以为'rsa'和'dsa')

 

3.

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

这一步，把本机的密钥写入authorized_keys文件

然后要将其他2台的密钥写入本机的authorized_keys文件

 

4.

 

 

master运行

scp ~/.ssh/id_dsa.pub root@slave1:~/.ssh/ authorized_keys_from_master

scp ~/.ssh/id_dsa.pub root@slave2:~/.ssh/ authorized_keys_from_master

slave1 运行

cat .ssh/authorized_keys_from_master  >>  ~/.ssh/authorized_keys

slave2 运行

cat .ssh/authorized_keys_from_master  >>  ~/.ssh/authorized_keys

 

slave1运行

scp ~/.ssh/id_dsa.pub root@master:~/.ssh/authorized_keys_from_slave1

scp ~/.ssh/id_dsa.pub root@slave2:~/.ssh/authorized_keys_from_slave1

master运行

cat .ssh/authorized_keys_from_slave1  >>  ~/.ssh/authorized_keys

slave2 运行

cat .ssh/authorized_keys_from_slave1 >>  ~/.ssh/authorized_keys

 

slave2运行

scp ~/.ssh/id_dsa.pub root@master:~/.ssh/authorized_keys_from_slave2

scp ~/.ssh/id_dsa.pub root@slave1