目录
1. 离线安装(parcel)
1.1 环境
环境系统:CentOS-6.4 64bit
CDH版本:CDH5.7.0
两个节点:cm节点、agent节点
1.2 下线离线包
1.2.1 下线Cloudera Manager
http://archive.cloudera.com/cm5/cm/5/
1.2.2 下载cdh包
http://archive.cloudera.com/cdh5/parcels
1.3 主机名及IP
1.3.1 cm
- 主机名
/etc/sysconfig/network
- IP
/etc/sysconfig/network-scripts/ifcfg-eth*
1.3.2 agent
- 主机名
/etc/sysconfig/network
- IP
/etc/sysconfig/network-scripts/ifcfg-eth*
1.3.3 验证
重启两个节点,主机名及IP如下所示,则设置成功。
1.4 设置/etc/hosts
修改两个节点的/etc/hosts如下所示:
1.5 禁用ipv6
cm、agent两个节点都要关闭。
1.5.1 查看ipv6状态
- ifconfig
如果有ipv6地址,则表明开启了ipv6
- lsmod
表明加载了ipv6模块
1.5.2 关闭ipv6
编辑/etc/modprobe.d/dist.conf,结尾添加如下内容,并重启:
alias net-pf-10 off
alias ipv6 off
1.5.3 验证
已无ipv6地址,lsmod也无ipv6模块。ipv6已成功关闭。
1.6 NTP
cm、agent节点都要安装。选择cm为ntp服务器端,agent为客户端。
1.6.1 安装ntp
yum install ntp
1.6.2 cm配置ntp服务
1.6.3 agent配置ntp服务
1.6.4 重启ntp服务
service ntpd restart
1.6.5 验证
- cm端
- agent端
1.7 关闭Seliux
cm节点、agent节点都需要关闭。
1.7.1 查看seliux状态
1.7.2 关闭seliux
编辑/etc/selinux/config,将SELINUX改为disabled。
重启,生效。
1.7.3 验证
1.8 关闭防火墙
1.8.1 查看防火墙状态
1.8.2 关闭防火墙
1.8.3 验证
1.9 ssh免密码登录
cm节点、agent节点都要安装。
1.9.1 安装openssh
1.9.2 单机免密
1.9.3 单机免验证
1.9.4 集群间免密
将agent节点/root/.ssh/id_rsa.pub传至cm节点下的/root/.ssh/authorized_keys中,然后,将合并后的authorized_keys传回至agent节点/root/.ssh下。传输文件可以用scp命令。
1.9.5 集群间验证
1.10 安装JDK
cm节点、agent节点都要安装。
1.10.1 jdk版本
jdk1.7_67,安装位置/usr/java/目录下,cdh规定位置。
1.10.2 配置环境变量
- 在/etc/profile文件中,添加:
- 在/etc/environment文件中,添加:
1.10.3 验证
重启主机,或source /etc/profile
1.11 安装mysql数据库
在一台Ubuntu Server的服务器安装mysql数据库。
sudo apt-get install mysql-server mysql-client mysql-common
1.11.1 配置/etc/hosts
1.11.2 创建各组件数据库
Reports Manager 数据库名为rman。
1.11.3 赋予cm节点权限
- grant all privileges on *.* to 'root'@’cm.com’ identified by '123123' with grant option;
- grant all privileges on *.* to 'root'@'%' identified by '123123' with grant option;
- flush privileges;
1.11.4 修改配置文件
修改/etc/mysql/my.cnf,将bind-address改为0.0.0.0。并重启mysql。
service mysql restart
1.12 其他必要操作
cm节点、agent节点都要做。
1.12.1 设置swappiness
1.12.2 echo never
写入开机启动/etc/rc.d/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
并赋予chmod +x rc.local
1.12.3 必要包
- yum install psmisc krb5-devel cyrus-sasl-gssapi cyrus-sasl-devel
- yum install libxml2-devel libxslt-devel mysql mysql-devel
- yum install openldap-devel python-devel sqlite-devel
- yum install python-setuptools gcc gcc-c++ make
- easy_install simplejson
1.13 cm节点配置cm包
只在cm节点上操作。
1.13.1 解压
将cloudera-manager解压至/opt目录下,并将其属组、属主改为root:root
chown –R root:root /opt/*
1.13.2 配置mysql-connector
版本:mysql-connector-java-5.1.15.jar
将/opt/cm-5.7.0/share/cmf/common_jars /mysql-connectory.jar复制到/opt/cm-5.7.0/share/cmf/lib/、/usr/share/java/(该目录需要创建)目录下
1.13.3 初始化数据库
先重启cm节点,及数据库节点。
/opt/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hdb -uroot -p123123 --scm-host cm.com scm scm scm
参数分别是:数据库类型 数据库名称 -h数据库主机名 -u数据库用户名 -p数据库密码--scm-host cmserver主机名 scm scm scm
1.13.4 创建agent目录
创建/opt/cm-5.7.0/run/cloudera-scm-agent目录。
1.13.5 修改config.ini文件
修改/opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini文件中server_host。
1.13.6 准备Parcels
在cm节点,将以下三个包复制至/opt/cloudera/parcel-repo目录(需创建该目录)中,并将*.sha1文件重命名为*.sha,否则系统会重新下载*.sha文件。
1.13.7 复制到其它节点
将cm节点下的目录传至agent节点。
1.13.8 创建cloudera-scm用户
cm节点、agent节点都要创建。
useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
1.14 启动cdh
- 在cm节点通过/opt/cm-5.7.0/etc/init.d/cloudera-scm-server start启动server;
- 在全部节点(cm节点、agent节点)通过/opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start启动agent。
1.15 页面安装
1.15.1 概述
页面打开http://192.168.50.100:7180 (主节点IP) admin/admin。按照内容装即可。
查看/opt/cm-5.7.0/log/cloudera-scm-server/cloudera-scm-server.log。出现红色方框中的内容,表现启动完毕,可以通过浏览器访问。大概需要5,6分钟。
1.15.2 安装步骤
1.16 hive安装
/opt/cloudera/parcels/CDH/lib/hive/lib目录下需要/opt/cm-5.11.0/share/cmf/common_jars/mysql-connector-java.jar包。
1.17 Oozie安装
/opt/cloudera/parcels/CDH/lib/oozie/libext目录下需要mysql-connector-java.jar包。
1.18 Kafka安装
1.18.1 官网介绍
- https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka
- https://www.cloudera.com/documentation/kafka/latest/topics/kafka.html
1.18.2 安装
- 从http://archive.cloudera.com/csds/kafka/上下载kafka-1.2.0.jar,安装到/opt/cloudera/csd
- 从http://archive.cloudera.com/kafka/parcels 上下载相应的parcel包,复制到/opt/cloudera/parcel-repo目录中。如有重名,将以前的重命名。
- 将以上jar包、parcel包复制各主机中。
- 进入CDH界面。“主机”à “parcel” à “检查新parcel” à安装新服务。
- 需要修改的参数: zookeeper.chroot、 auto.create.topics.enable、num.partitions、default.replication.factor、delete.topic.enable、message.max.bytes、relica.fetch.max.bytes。
1.19 Spark2安装
- 从http://archive.cloudera.com/spark2/csd/ 下载cloudera1的jar包,安装到/opt/cloudera/csd
- cloudera1与cloudera2的区别https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html
- 从http://archive.cloudera.com/spark2/parcels下载对应的parcel包,复制到/opt/cloudera/parcel-repo目录中。
- http://blog.cloudera.com/blog/2016/09/apache-spark-2-0-beta-now-available-for-cdh/
- 界面安装前重启cloudera-scm-server。
- 如果出现缺少jar包的情况,将包拷到/opt/cloudera/parcels/SPARK2/lib/spark2/jars
- 从/opt/cloudera/parcels/CDH/jars中复制以hadoop开头的包、htrace开头的、guava14包,以及从网上下载下列包。
别外:删除hdfs上/tmp/hive以及本地/tmp/hive
2. Acc
2.1 各组件目录
- CDH中hadoop各组件的根目录 /opt/cloudera/parcels/CDH
- Hadoop配置文件 /etc/hadoop/conf
- hbase配置文件 /etc/hadoop/conf
- hive配置文件 /etc/hive/conf
2.2 查看各组件版本
2.3 查看主机资源占用
3. 问题
3.1 HDFS文本检查点
问题描述:文件系统检查点已有 5 小时,32 分钟。占配置检查点期限 1 小时的 554.92%。
解决方法:namenode与secondaryNamenode的clusterID不一致,改成一致即可。