cloudera manager5.13.1安装使用

##cloudera官网:

https://docs.cloudera.com/

##cm环境要求说明:

https://docs.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#TLS_Security_Versions_Table

##cm下载地址:

http://archive.cloudera.com/cm5/cm/5/

搜索: cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz

##cdh下载地址:

http://archive.cloudera.com/cdh5/parcels/5.13.1/

搜索: CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel

##mysql-connector-java-5.1.29.jar下载地址：

http://download.softagency.net/MySQL/Downloads/Connector-J/

http://dev.mysql.com/downloads/connector/j/

注意:

cm必须为root用户安装；

cm01为主节点，其它为从节点。下载版本时一定要对应好正确的版本；

el7代表 enterprise linux 7;

el6代表 enterprise linux 6;

el5代表 enterprise linux 5.

cloudera manager搭建

1.搭建规划

IP	主机名	机器环境	组件分配
192.168.x.22	cm01	centos7	mysql,cm-server,cm-agent
192.168.x.23	cm02	centos7	cm-agent
192.168.x.24	cm03	centos7	cm-agent
192.168.x.28	cm04	centos7	cm-agent
192.168.x.52	cm05	centos7	cm-agent

2.安装准备

##下载相关包(cm主节点上)

wget http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz

wget http://archive.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel

wget http://archive.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1

wget http://archive.cloudera.com/cdh5/parcels/5.13.1/manifest.json

sha1sum CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel                             ##验证包是否完整

##配置hosts(每台机器上)

vi /etc/hosts

192.168.x.22 cm01

192.168.x.23 cm02

192.168.x.24 cm03

192.168.x.28 cm04

192.168.x.52 cm05

##配置ntp时间同步(每台机器上)

rm -rf /etc/localtime && ln -s /etc/usr/share/zoneinfo/Asia/Shanghai /etc/localtime

yum install -y ntp                                ##yum安装ntp

vi /etc/sysconfig/ntpd                          ##添加

SYNC_HWCLOCK=yes

vi /etc/ntp.conf                                 

driftfile /etc/ntp.drift

tracefile /etc/ntp.trace

logfile /var/log/ntp.log

server 10.x.x.x                          ##设置为自己的ntp时钟源

server 10.x.x.x

##启动ntp服务

systemctl enable ntpd.service

ntpstat

systemctl start ntpd

##关闭swap分区(每台机器上)

swapoff -a

sed -ri 's/.*swap.*/#&/' /etc/fstab

##关闭大内存页(每台机器上)

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then

   echo never > /sys/kernel/mm/transparent_hugepage/enabled

fi

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then

   echo never > /sys/kernel/mm/transparent_hugepage/defrag

fi

3.CM搭建

##安装cm依赖包(每台机器上)

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

##python版本查看

python -v

注意:

centos7.x默认自带py2.7;centos6.x自带py2.6;并且两者与cm不同版本很可能不兼容；

因此一定要下载好与系统版本对应的cm版本；

##主节点上分发cm包到所有节点

for i in {2..5};do
scp cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz cm0$i:~
done

##解压cm包(每台机器上)

tar -xvf jdk.tar -C /opt

tar -xvf cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz -C /opt

##配置环境变量(每台机器上)

vi ~/.bashrc

export JAVA_HOME=/opt/jdk
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

##创建cm所需用户(每台机器上)

useradd --system --home-dir /opt/cm-5.13.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

##配置cm主节点ip(每台机器上)

vi /opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini

server_host=192.168.x.22

##分发mysql驱动包(每台机器上)

cp mysql-connector-java-5.1.29.jar /opt/cm-5.13.1/share/cmf/lib/

##修改目录权限(每台机器上)

chown -R root.root /opt/

chmod -R 755 /opt/

##安装mysql(cm主节点上)

yum install -y mariadb*

systemctl start mariadb.service

systemctl status mariadb.service

systemctl enable mariadb.service

mysql -u root -p                                    ##默认密码为空，直接回车进入。然后进行赋权操作

mysql>grant all on *.* to root@'cm01' identified by 'root';

mysql>grant all on *.* to root@'localhost' identified by 'root';

mysql>grant all on *.* to root@'%' identified by 'root';

mysql>set password for root@localhost = password('root');

mysql>grant all privileges on *.* to root@'%';

mysql>flush privileges;

##在主节点初始化Mysql数据库(cm主节点上)

cd /opt/cm-5.13.1/share/cmf/schema/

/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm

##验证查看

mysql -uroot -proot                      ##已生成cm库

##创建所需目录 (cm主节点上)

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

mkdir /var/lib/cloudera-scm-server

chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

##创建包存放路径(每台机器上)

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels  

##cdh包拷贝到 /opt/cloudera/parcel-repo/ (cm主节点上)

##重命名该sha文件并移动到相应目录；非常重要；否正cm安装过程中可能找不到包导致报错

mv CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha

cp CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha /opt/cloudera/parcel-repo/

cp manifest.json /opt/cloudera/parcel-repo/

##修改目录权限(每台机器上)

chown -R root.root /opt/

chmod -R 755 /opt/

##启动服务器端的server服务和agent服务 (cm主节点上)

/opt/cm-5.13.1/etc/init.d/cloudera-scm-server start                       ##启动cm-server

/opt/cm-5.13.1/etc/init.d/cloudera-scm-server stop                       ##停止cm-server

ls /opt/cm-5.13.1/run/cloudera-scm-server.pid                              ##cm-server pid文件

##启动agent服务:(每台机器上)

yum install -y python-psycopg2                                                      ##安装依赖包

/opt/cm-5.13.1/etc/init.d/cloudera-scm-agent start                         ##启动cm-agent

/opt/cm-5.13.1/etc/init.d/cloudera-scm-agent next_stop_hard

/opt/cm-5.13.1/etc/init.d/cloudera-scm-agent stop                                ##停止cm-agent

ll /opt/cm-5.13.1/lib/cloudera-scm-agent/uuid                                       ##uuid所在路径

ll /opt/cm-5.13.1/run/cloudera-scm-agent/cloudera-scm-agent.pid       ##pid文件

##查看服务端口 (cm主节点上)

netstat -nltup|grep 7180                        ##cm web端口

netstat -nltup|grep 7182                        ##cm 服务监控端口

##查看agent端口

netstat -anp|grep 9000

##查看日志

##cm server日志

cd /opt/cm-5.13.1/log/cloudera-scm-server

tail -100 /opt/cm-5.13.1/log/cloudera-scm-server/cloudera-scm-server.log

##cm agent日志

cd /opt/cm-5.13.1/log/cloudera-scm-agent

tail -100 /opt/cm-5.13.1/log/cloudera-scm-agent/cloudera-scm-agent.log

##清空日志

rm -rf /opt/cm-5.13.1/log/cloudera-scm-agent/*

rm -rf /opt/cm-5.13.1/log/cloudera-scm-server/*

4.web登陆

http://192.168.x.22:7180/

默认登陆用户密码: admin/admin

##接受许可

##选择试用版

##继续

##查看当前管理的主机,继续

##选择使用Parcel,继续；

##注意:如果上面没有重命名sha1为sha，此步骤可能会去下载cdh5.13.3,由于网络受限，此处就导致无法安装成功

##如果出现需要下载jdk,不要勾选；不然也没法下载成功

##安装正常时，会出现如下界面时，直接点击manager即可；

##此时，cm部署成功

5.cm使用操作

##添加agent节点

##分发文件

scp jdk.tar cm0$i:~

scp mysql-connector-java-5.1.29.jar cm0$i:~

scp cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz cm0$i:~

##解压文件

tar -xvf jdk.tar -C /opt

tar -xvf cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz -C /opt

mv mysql-connector-java-5.1.29.jar /opt/cm-5.13.1/share/cmf/lib/

##配置环境变量

vi ~/.bashrc

export JAVA_HOME=/opt/jdk

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

##创建所需用户

useradd --system --home-dir /opt/cm-5.13.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

##创建所需路径

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels  

##配置cm主节点ip

vi /opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini

server_host=192.168.30.22

##修改权限

chown -R root.root /opt/

chmod -R 755 /opt/

##关闭大内存页

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then

   echo never > /sys/kernel/mm/transparent_hugepage/enabled

fi

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then

   echo never > /sys/kernel/mm/transparent_hugepage/defrag

fi

##安装依赖包

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

yum install -y python-psycopg2

##启动agent服务

/opt/cm-5.13.1/etc/init.d/cloudera-scm-agent start

/opt/cm-5.13.1/etc/init.d/cloudera-scm-agent next_stop_hard                              ##停止cm -agent

/opt/cm-5.13.1/etc/init.d/cloudera-scm-agent stop

ll /opt/cm-5.13.1/lib/cloudera-scm-agent/uuid                ##查看uuid                                   

netstat -anp|grep 9000                                                   ##查看端口

##查看日志

tail -100 /opt/cm-5.13.1/log/cloudera-scm-agent/cloudera-scm-agent.log

##cm页面加载节点

主机-->所有主机-->向群集添加主机-->

##如果正常的话，不需要手动输入ip；页面会自动加载新的节点

##选择匹配发行版

##等待安装

##等待检测，检测之后点击继续

##添加节点成功