近期测试环境升级,结果升级出错,启动不了,于是乎重新安装了一遍集群。
暂时先不做排版,后期有时间后再做排版
参考地址:http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_c.html
【安装系统】
我们选择 centos 6.7 ,总共四台机器,
hap01 6g内存 192.168.1.101(server)
hap02 4g内存 192.168.1.102
hap03 4g内存 192.168.1.103
hap04 4g内存 192.168.1.104
【关闭防火墙】
【关闭selinux】
【配置集群hosts】
【安装 jdk】
jdk 1.8
【安装依赖】
yum -y install bind-utils
yum -y install psmisc
yum -y install libxslt
yum -y install zlib
yum -y install sqlite
yum -y install cyrus-sasl-plain
yum -y install cyrus-sasl-gssapi
yum -y install fuse
yum -y install portmap
yum -y install fuse-libs
yum -y install redhat-lsb
【安装数据库】
参照 mariadb 安装
【创建数据库用户】
create database cm_server DEFAULT CHARACTER SET utf8;
grant all on *.* TO 'cdhadmin'@'%' IDENTIFIED BY 'admin';
【解压cm 安装包】
下载cm 安装包。
下载地址: http://www.cloudera.com/documentation/enterprise/release-notes/topics/cm_vd.html
tar xzf cloudera-manager*.tar.gz -C /opt/
【创建cm 用户】
useradd --system --home=/opt/cm-5.8.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
【创建路径】
mkdir /var/lib/cloudera-scm-server
mkdir /var/log/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/log/cloudera-scm-server
【修改配置文件】
vi etc/cloudera-scm-agent/config.ini
server_host=hap01
server_port(默认)
【创建 Parcel 路径】
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
【复制驱动】
cp mysql-connector-java-5.1.39-bin.jar /opt/cm-5.8.1/share/cmf/lib/
【配置数据库】
share/cmf/schema/scm_prepare_database.sh mysql cm_server cdhadmin admin -u root -p
【分发cm】
scp -r /opt/c* root@hap03:/opt
【更改目录权限】
各个节点创建用户,并授权
chown -R cloudera-scm:cloudera-scm /opt/c*
Cloudera Manager Server 用来提供管理及页面展示
Cloudera Manager Agents 用来与 server 通讯。
【启动 Manager Server】
etc/init.d/cloudera-scm-server start
server 启动需要一定时间,查看日志文件
tail -f /opt/cm-5.8.1/log/cloudera-scm-server/cloudera-scm-server.log
当出现图示时,启动完成,可访问 host:7180 进行访问,此时先不要登录。
【将 server 添加进服务列表】
cp etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
vi /etc/init.d/cloudera-scm-server
根据图示,
在脚本开始添加
export JAVA_HOME=/usr/local/java/jdk
修改 CMF_DEFAULTS
chkconfig --add cloudera-scm-server
chkconfig --list
chkconfig cloudera-scm-server off
测试服务是否可用
service cloudera-scm-server stop
service cloudera-scm-server start
【启动 Manager Agents】
etc/init.d/cloudera-scm-agent start
查看 Agents 启动日志
tail -f /opt/cm-5.8.1/log/cloudera-scm-agent/cloudera-scm-agent.log
可能会有错误,如图
创建文件夹,并授权即可
mkdir /opt/cm-5.8.1/run/cloudera-scm-agent
chown -R cloudera-scm.cloudera-scm /opt/cm-5.8.1/run/cloudera-scm-agent
【将 Agents 添加进服务列表】
cp etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
vi /etc/init.d/cloudera-scm-agent
根据图示,
在脚本开始添加(经测试,agents 不添加 JAVA_HOME 环境变量也可以)
export JAVA_HOME=/usr/local/java/jdk
修改 CMF_DEFAULTS
chkconfig --list
chkconfig --add cloudera-scm-agent
chkconfig cloudera-scm-agent off
然后把 agents 服务添加到其他主机中
启动每一个 agent
【修改 swappiness 】
所有节点执行:
临时生效
sysctl vm.swappiness=0
永久生效,需重启
vi /etc/sysctl.conf
末尾追加
#CDH
vm.swappiness=0
【透明大页面禁用】
执行命令
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
开机生效
vi /etc/rc.local
末尾追加
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
然后访问 hap01:7180 进行配置