CDH6.3大数据平台安装和部署

一  Cloudera’s Distribution Including Apache Hadoop，简称“CDH”，分商用版本和个人版本。

其中MySQL的安装就忽略了

二 服务器配置

192.168.15.1  cm
192.168.15.2  cdh1
192.168.15.3  cdh2
192.168.15.4  cdh3

每台主机：CPU 8核、内存16G、硬盘200G

软件版本：

名称	版本
操作系统	CentOS release 7.8 (Final) 64位
JDK	1.8
数据库	MySQL 5.6.49
CDH	6.3.1

三 配置安装

修改hosts文件

vi /etc/hosts
127.0.0.1               localhost
192.168.15.1  cm
192.168.15.2  cdh1
192.168.15.3  cdh2
192.168.15.4  cdh3

关闭防火墙

systemctl disable firewalld
systemctl stop firewalld

配置SeLinux

vi /etc/selinux/config
SELINUX=enforcing  改为  SELINUX=permissive

NTP服务配置（所有节点）

yum install ntp
systemctl start ntpd
systemctl enable ntpd

安装JDK 1.8

cd /usr/
mkdir java
cd java
wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gzAuthParam=1534129356_6b3ac55c6a38ba5a54c912855deb6a22
mv jdk-8u181-linux-x64.tar.gzAuthParam\=1534129356_6b3ac55c6a38ba5a54c912855deb6a22 jdk-8u181-linux-x64.tar.gz
tar -zxvf jdk-8u181-linux-x64.tar.gz 
vi /etc/profile
#java
export JAVA_HOME=/usr/java/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib

安装mysql驱动

[root@10-31-1-123 mysql]# mkdir -p /usr/share/java
[root@10-31-1-123 mysql]# cd /usr/share/java
[root@10-31-1-123 java]# 
[root@10-31-1-123 java]# ll
总用量 832
-rw-r--r--. 1 root root 848067 1月  15 2014 mysql-connector-java-commercial-5.1.25-bin.jar
[root@10-31-1-123 java]# 
[root@10-31-1-123 java]# mv mysql-connector-java-commercial-5.1.25-bin.jar mysql-connector-java.jar
[root@10-31-1-123 java]# ll
总用量 832
-rw-r--r--. 1 root root 848067 1月  15 2014 mysql-connector-java.jar
[root@10-31-1-123 java]# 

创建数据库

create database cmf DEFAULT CHARACTER SET utf8;
create database amon DEFAULT CHARACTER SET utf8;
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY '123456';
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456';
flush privileges;

修改Linux swappiness参数

[root@hp1 mysql]# cd /usr/lib/tuned/
[root@hp1 tuned]# grep "vm.swappiness" * -R
latency-performance/tuned.conf:vm.swappiness=10
throughput-performance/tuned.conf:vm.swappiness=10
virtual-guest/tuned.conf:vm.swappiness = 30

然后将文件中的配置依次修改为0
修改后将这些文件同步到其他机器上

禁用透明页

[root@hp1 ~]# vim /etc/rc.local
在文件中添加如下内容：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
然后将该文件同步其他机器上，然后启动所有服务器

四 CDH安装

离线部署CM server及agent

[root@10-31-1-123 cdh]# mkdir -p /opt/cloudera-manager
[root@10-31-1-123 cloudera-manager]# cd /usr/local/cdh/
[root@10-31-1-123 cdh]# ls -lrth
总用量 3.3G
-rw-r--r--. 1 root root  34K 11月 13 15:46 manifest.json
-rw-r--r--. 1 root root 1.4G 11月 13 16:10 cm6.3.1-redhat7.tar.gz
-rw-r--r--. 1 root root   40 11月 13 16:10 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1
-rw-r--r--. 1 root root 2.0G 11月 13 16:37 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel
[root@10-31-1-123 cdh]# 
[root@10-31-1-123 cdh]# tar -zxf cm6.3.1-redhat7.tar.gz -C /opt/cloudera-manager
[root@10-31-1-123 cdh]# 

选择cm为主节点作为cm server，直接部署（主节点）

cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64/
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force 

agent部署 (所有节点)

cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

修改agent配置，指向server节点cm （所有节点）

 vim /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=10.31.1.123
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf
com.cloudera.cmf.db.password=www.research.com
com.cloudera.cmf.db.setupType=EXTERNAL

安装httpd

yum install -y httpd 

部署离线parcel源 （主节点）

mkdir -p /var/www/html/cdh6_parcel
cp /usr/local/cdh/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/www/html/cdh6_parcel/
mv /usr/local/cdh/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha
mv /usr/local/cdh/manifest.json /var/www/html/cdh6_parcel/
systemctl start httpd

页面访问

http://10.31.1.123/cdh6_parcel/

主节点启动server （主节点）

[root@10-31-1-123 x86_64]#  systemctl start cloudera-scm-server
[root@10-31-1-123 x86_64]#  ll /var/log/cloudera-scm-server/ 
总用量 20
-rw-r-----. 1 cloudera-scm cloudera-scm 19610 11月 13 17:29 cloudera-scm-server.log
-rw-r-----. 1 cloudera-scm cloudera-scm     0 11月 13 17:29 cmf-server-nio.log
-rw-r-----. 1 cloudera-scm cloudera-scm     0 11月 13 17:29 cmf-server-perf.log

所有节点启动agent （所有节点）

systemctl start cloudera-scm-agent 

登录主节点的7180端口 ，登陆用户名:admin 登陆密码: admin

http://10.31.1.123:7180/

 

然后依次创建，输入集群名字，输入主机名，选择存储库

一直下一步，安装jdk，安装parcels

然后选择要安装的组件，自定义角色分配。

 创建数据库

create database hive DEFAULT CHARACTER SET utf8;
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';

create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';

create database hue DEFAULT CHARACTER SET utf8;
grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'hue';

flush privileges;

 最后安装完成