Centos7 安装cloudera manager5.13.1记录

CDH安装资源下载

cm安装包地址： https://archive.cloudera.com/cm5/cm/5/

 

CDH安装包位置： http://archive.cloudera.com/cdh5/parcels/latest/

 

MySql安装包位置： https://repo.mysql.com//mysql57-community-release-el7-8.noarch.rpm

建议mysql使用5.7及以上版本，5.6及以下版本安装hive等组件时会出现外部连接密码不可以连接MySQL错误，这里使用的是通过yum源安装方式

 

Jdk安装包位置： http://download.oracle.com/otn-pub/java/jdk/8u172-b11/a58eab1ec242421181065cdc37240b08/jdk-8u172-linux-x64.rpm?AuthParam=1526021025_f32e8a29ea2f93903b58b2c81c68768b

 

环境：Centos 7（四台）

Cdh版本：5.13.1

 

一、准备，环境配置：

1、基本配置（所有节点）

修改 /etc/hostname

cdh1-4

修改主机名，

vi etc/sysconfig/network

NETWORKING=yes

HOSTNAME=cdh1-4

设置集群host

vi /etc/hosts

10.0.12.1-4 cdh1-4

 

 

2.Java环境（所有节点）rpm安装（无需配置环境变量）

rpm -ivh jdk-8u131-linux-x64.rpm

 

3.SSH免密登陆（所有节点）

ssh-keygen -t rsa

ssh-copy-id 主机名 -p 10022

 

4.安装MySQL（主节点安装）

1>.需注意Centos7默认安装的是mariadb，如果不卸载直接安装的话会报错，报错信息

mariadb-libs is obsoleted by mysql-community-libs-5.7.9-1.el7.x86_64

rpm -qa | grep mariadb #查看安装信息

rpm -e mariadb-libs* --nodeps #根据查找到的软件包信息卸载

 

2>.安装MySQL

wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm #下载

rpm或者直接将rpm下载至本地

rpm -ivh mysql-community-release-el7-5.noarch.rpm #安装下载的rpm

yum install mysql-community-server #使用yum安装mysql服务

 

3>.安装成功后重启服务

service mysqld restart

mysql -u root #进入mysql

set password = password('12345678') #增加密码

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '12345678' WITH GRANT OPTION; #授权用户root使用密码12345678进入mysql

 

重新加载表权限 FLUSH PRIVILEGES;

 

4>.创建数据库

create database cmf DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

 

 

 

 

 

 

5.关闭防火墙（所有节点）

Centos7默认使用的是firewall，不是iptables

systemctl stop firewalld.service

systemctl mask firewalld.service

 

6.关闭SELinux（所有节点）

vi /etc/selinux/config

设置 : SELINUX=disabled

 

7.配置NTP服务（所有节点）

安装

yum install ntp

设置开机启动

chkconfig ntpd on

服务启动

service ntpd start

主节点和外部同步，其余节点和主节点进行同步

主节点配置：

VI /etc/ntp.conf

参考：https://blog.csdn.net/freedomboy319/article/details/46710255

 

8.在所有节点上创建用户：

useradd --system --home=/opt/cm-5.13.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

二、安装cm

1.下载安装包

cloudera-manager- el7-cm5.13.1_x86_64.tar.gz

 

2.将cloudera-manager-el7-cm5.13.1_x86_64.tar.gz解压至opt目录下

tar -zxvf cloudera-manager- el7-cm5.13.1_x86_64.tar.gz -C /opt

解压后有cloudera和cm-5.13.1两个目录

 

3.准备cdh包（三个文件）

CDH-5.13.1-1.cdh5.13.1.p0.2- el7.parcel

CDH-5.13.1-1.cdh5.13.1.p0.2- el7.parcel.sha1

manifest.json

将三个文件放至 /opt/cloudera/parcel-repo/目录下并修改

CDH-5.13.1-1.cdh5.13.1.p0.2- el7.parcel.sha1 成 CDH-5.13.1-1.cdh5.13.1.p0.2- el7.parcel.sha

 

 

4.准备mysql驱动

mysql-connector-java-5.1.45.tar.gz

将驱动放到 /usr/shara/java（目录不存在就先创建目录）

/opt/cm-5.13.0/share/cmf/lib/

 

5.配置agent

vi /opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini

server_host为cm server的主机名或ip

server_port为server的通讯端口，默认为7182

 

 

 

6.设置cmf数据库连接信息

设置cmf连接信息：`/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql -hhost29 --scm-host host28 cmf usrname password`

命令说明：/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh 数据库类型 -h数据库主机 --scm-host cm主机 数据库名称 用户名 密码

命令说明：/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql -hcdh1 --scm-host cdh1 cmf root password

 

查看配置文件，发现信息已写入

vi cm-5.13.1/etc/cloudera-scm-server/db.properties

 

7.分发agent至其他节点

scp -r -P 端口号 /opt/cm-5.13.1 cdh2:/opt

 

8.启动

在主节点上启动server

/opt/cm-5.13.1/etc/init.d/cloudera-scm-server start

在所有节点上启动agent

/opt/cm-5.13.1/etc/init.d/cloudera-scm-agent start

在浏览器中启动cm并登陆（端口号 7180）

初始账号：admin 密码：admin

 

 

 

 

 

这里第一个和第二个警告，按页面提示的设置方法设置即可，第三个警告是jdk版本不对，不能使用openjdk，需要oracle jdk。

每个节点上都设置一下：

第一个警告解决方法：

执行：` echo 10 > /proc/sys/ vm /swappiness` 并编辑文件sysctl. conf ：` vim /etc/sysctl. conf `,添加或修改 vm .swappiness = 0

第二个警告解决方法：

echo never > /sys/kernel/mm/transparent_hugepage/defrag >> /etc/rc.local echo never > /sys/kernel/mm/transparent_hugepage/enabled >> /etc/rc.local

之后重新检查

 

 

------安装过程可能会出现的问题-------

 

1、No portmap or rpcbind service is running on this host. Please start portmap or rpcbind service before attempting to start the NFS Gateway role on this host.

 

解决方法

在安装 NFS Gateway那个节点上安装rpcbind: 安装：`yum install rpcbind` 启动：`service rpcbind start`

 

2、.安装Hive、Oozie、Hue等需要mysql来管理元数据的时候需要将mysql驱动拷贝到相应的目录中（每台节点都需要拷贝）

cp /opt/local/mysql-connector-java-5.1.45.jar /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/lib/oozie/lib cp /opt/local/mysql-connector-java-5.1.45.jar /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/lib/hive/lib cp /opt/local/mysql-connector-java-5.1.45.jar /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/lib/hue/lib cp /opt/local/mysql-connector-java-5.1.45.jar /var/lib/oozie/ cp /opt/local/mysql-connector-java-5.1.45.jar /var/lib/hive/ cp /opt/local/mysql-connector-java-5.1.45.jar /var/lib/hue/

 

 

 

------错误及解决方法-------

1.agent总是挂掉

那台节点总是挂掉就在那台节点上执行 ps -ef | grep supervisord 之后 kill -9 进程号就可以

 

2.若安装过程中中断，再次继续安装时，可能出现主机受管情况：

重装方法：

此时停止所有cm服务，删除cmf数据库，重新初始化cmf数据库即可。 删除数据库：进入mysql，执行 drop database cmf ; （每台节点都要执行） 卸载挂载点： umount cm-5.13.1/run/cloudera-scm-agent/process 清除所欲节点的agent uuid信息： rm -rf cm-5.13.1/lib/cloudera-scm-agent/* 一定要先卸载挂载点，否则会提示无法删除： rm:  无法删除 "cm-5.13.1/run/cloudera-scm-agent/process" : 设备或资源忙

 

彻底删除cm安装后的软件

除上述过程需要执行外还需删除一下文件：

rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera* /etc/alternatives/yarn* rm -rf /var/lib/cloudera-scm-server-db /etc/alternatives/sentry* /etc/alternatives/solr* rm -rf /tmp/.scm_prepare_node.lock /tmp/hsperfdata_hadoop /tmp/hsperfdata_hdfs /tmp/hsperfdata_mapred /tmp/hsperfdata_zookeeper /tmp/hsperfdata_cloudera-scm /tmp/hadoop-root rm -rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper rm -rf /dfs /mapred /yarn /etc/alternatives/avro* /etc/alternatives/beeline* rm -rf /etc/cloudera* /etc/alternatives/bigtop* /etc/alternatives/catalogd* /etc/alternatives/cli_* /etc/alternatives/hue* /etc/alternatives/sqoop* rm -rf /var/cache/yum/x86_64/6/cloudera* /etc/alternatives/llama* /etc/alternatives/*spark* /etc/alternatives/pig* /etc/alternatives/mahout* rm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue /var/lib/oozie /var/lib/pgsql /etc/alternatives/impala* rm -rf /var/lib/sqoop2 /data/dfs/ /data/impala/ /data/yarn/ /dfs/ /impala/ /yarn/ /etc/alternatives/oozie* /etc/alternatives/mapred* /etc/alternatives/mahout* rm -rf /var/run/hadoop-*/ /var/run/hdfs-*/ /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /etc/alternatives/hadoop* /etc/alternatives/hbase* rm -rf /usr/bin/hive* /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn /usr/bin/sqoop* /usr/bin/oozie /etc/alternatives/hcat* /etc/alternatives/hdfs* rm -rf /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/hcatalog /etc/alternatives/hive* rm -rf /var/run/zookeeper /etc/alternatives/flume* /etc/alternatives/zookeeper* /etc/alternatives/parquet* /etc/alternatives/whirr rm -rf /tmp/scm_prepare_node* /tmp/.scm_prepare_node.lock /etc/alternatives/bigtop* /etc/alternatives/yarn*

 

安装msyq5.7出现的问题

1、使用root用户登陆MySQL时会出现无密码登陆不了的情况

mysql安装完成之后，在/var/log/mysqld.log文件中给root生成了一个默认密码。通过下面的方式找到root默认密码，然后登录mysql进行修改：

解决方法：

grep 'temporary password' /var/log/mysqld.log

 

2、mysql修改不了密码

mysql5.7默认安装了密码安全检查插件（validate_password），默认密码检查策略要求密码必须包含：大小写字母、数字和特殊符号，并且长度不能少于8位。否则会提示ERROR 1819 (HY000): Your password does not satisfy the current policy requirements错误，如下图所示：

 

 

通过msyql环境变量可以查看密码策略的相关信息：

show variables like '%password%';

 

 

validate_password_policy：密码策略，默认为MEDIUM策略 

validate_password_dictionary_file：密码策略文件，策略为STRONG才需要 

validate_password_length：密码最少长度 

validate_password_mixed_case_count：大小写字符长度，至少1个 

validate_password_number_count ：数字至少1个 

validate_password_special_char_count：特殊字符至少1个 

 

解决方法：

必须修改两个全局参数： 

1.首先，修改validate_password_policy参数的值：

set global validate_password_policy=0;

2.再修改密码的长度：

set global validate_password_length=1;

3.再次执行修改密码就可以了：

ALTER USER 'root'@'localhost' IDENTIFIED BY '12345678';

 

授权其他机器登陆

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '12345678' WITH GRANT OPTION;

重新加载表权限  FLUSH PRIVILEGES;

 

------------------------------------------------------------------------------------------------------------------------

 

彻底卸载及删除Mysql

查看已经安装的服务  rpm –qa|grep -i mysql  -i 作用是不区分大小写 yum remove mysql mysql-server mysql-libs compat-mysql51 rm -rf /var/lib/mysql rm /etc/my.cnf 查看是否还有mysql软件： rpm -qa|grep mysql 有的话继续删除 可以看到有两个安装包  MySQL-server-5.6.19-1.linux_glibc2.5.x86_64.rpm MySQL-client-5.6.19-1.linux_glibc2.5.x86_64.rpm   删除这两个服务(去掉后缀)  rpm –e MySQL-client-5.6.19-1.linux_glibc2.5.x86_64 rpm -e MySQL-server-5.6.19-1.linux_glibc2.5.x86_64   查看残留的目录： whereis mysql    然后删除mysql目录： rm –rf /usr/lib64/mysql    删除相关文件：  rm –rf /usr/my.cnf rm -rf /root/.mysql_sercret   最关键的： rm -rf /var/lib/mysql 如果这个目录如果不删除，再重新安装之后，密码还是之前的密码，不会重新初始化！