CDH 集群安装

centos7.0+ 查看ip命令: ip addr
1.下载
http://archive.cloudera.com/cdh5            CDH
https://www.cloudera.com/downloads/manager/5-4-3.html    Cloudera Manager

2.Cloudera Manager安装
137    134    136
=====================================================================================
●2.1 环境准备:

1 配置Host

192.168.68.141 node1
192.168.68.142 node2
192.168.68.143 node3

2.免秘钥(每台生成并复制到其他机器)
    a>生成秘钥
  

  ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

    b>找到秘钥和公钥
    c>在其他服务器创建目录和文件
    生成文件
 

   cat ~/.ssh/id_dsa.pub >> authorized_keys

    复制authorized_keys文件到其他服务器相同目录下
    *(scp authorized_keys root@192.168.68.141:~/.ssh) 直接拷贝
    d>使用ssh 192.168.68.141 免密登录

3.关闭防火墙(centos7.0以上没安装)

service iptables stop

4.关闭SELINUX
修改 /etc/selinux下的config文件

SELINUX=disabled

5.安装并配置JDK
【注意:一定要按照到/usr/java/目录下 因为CManager会默认找这个目录下的JAVA_HOME】
    a>Centos的默认java环境在
    /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.121

    b># 修改配置文件

    vi /etc/profile

    # 在最后下添加

export JAVA_HOME=/usr/java/jdk1.7.0_79
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/*.jar:$JAVA_HOME/jre/lib/*.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

    c># 刷新配置文件 

    source /etc/profile

6.安装NTP(时间同步)

yum -y install ntp /*yum安装NTP服务*/
chkconfig --add ntpd /*添加NTP*/
chkconfig ntpd on /*开机自启动NTP*/
watch ntpq -p  /* 查看ntp服务地址 */
ntpdate -u 118.163.81.63 /* 设置时间同步 */

7.安装mysql
    安装:

yum install mysql-server

    开机启动:

chkconfig mysqld on

    设置密码:

/usr/bin/mysqladmin -u root password '666666'

    连接mysql:

mysql -uroot -p666666

    远程授权:

GRANT ALL PRIVILEGES ON *.* TO 'myuser'@'%' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;

正确语句:

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '666666' WITH GRANT OPTION;

flush privileges;

8.下载依赖包

yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y

=====================================================================================
●2.2 CM安装:
1.安装Cloudera Manager Server、Agent
a>拷贝三个文件到每台主机下 
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1
cloudera-manager-el6-cm5.4.3_x86_64.tar.gz
manifest.json

b>创建安装目录并解压（每一台）

mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-el6-cm5.4.3_x86_64.tar.gz -C /opt/cloudera-manager/

2.创建用户 cloudera-scm

useradd --system --home=/opt/cm-5.4.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3.配置CM Agent
修改文件
/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中
server_host 和 server_port
每台主机的server_host都设为 node1。------ 通知每台agent知道server的地址

4.配置CM Server数据库
拷贝mysql jar到 /usr/share/java/
jar包名要修改为mysql-connector-java.jar

创建数据库用户:

CREATE USER 'temp'@'node1' IDENTIFIED BY 'temp';

授权:

GRANT ALL ON *.* TO 'temp'@'%' IDENTIFIED BY 'temp' WITH GRANT OPTION;
flush privileges;

进入脚本目录:

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

执行脚本:（如果出现无法登录,没有访问权限，请重启。）

./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm

5.创建Parcel目录
Server节点(一台):

mkdir -p /opt/cloudera/parcel-repo
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent节点(三台):

mkdir -p /opt/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels

6.制作CDH本地源
将下面三个文件考入/opt/cloudera/parcel-repo
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1
manifest.json

7.启动CM Server、Agent

cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start

-----Server首次启动会自动创建表和数据，不要立即关闭或重启。否组需要删除所有表和数据重新安装。

./cloudera-scm-agent start

访问:http://node1:7180/   默认用户名和密码都是admin

8.Web进行安装步骤