CDH6离线部署

CDH6.3.1 离线安装部署
一、服务器准备，CDH相关安装包准备好 都上传到服务器/home 目录下
（一）修改hosts和hostname文件
更新 /etc/hosts 和 /etc/hostname 文件
用xshell或者CRT工具远程连接这些服务器，选中交互窗口，相同的命令输入 一键发送

# IP地址和主机名根据实际情况替换
echo "10.10.10.1 cdh001" >> /etc/hosts
echo "10.10.10.2 cdh002" >> /etc/hosts
echo "10.10.10.3 cdh003" >> /etc/hosts
echo "10.10.10.4 cdh004" >> /etc/hosts
echo "10.10.10.5 cdh005" >> /etc/hosts
echo "10.10.10.6 cdh006" >> /etc/hosts

vi /etc/hostname
10.10.10.1 cdh001
10.10.10.2 cdh002
10.10.10.3 cdh003
10.10.10.4 cdh004
10.10.10.5 cdh005
10.10.10.6 cdh006

（二）关闭所有节点防火墙并清空规则

systemctl stop firewalld 
systemctl disable firewalld
firewall-cmd --state #关闭后显示notrunning，开启显示running

（三）关闭所有节点的selinux

vi /etc/selinux/config
将 SELINUX=enforcing 改为 SELINUX=disable

设置后需要重启服务器才能生效

（四）设置时区、时钟同步(这一步可以暂时不操作)

设置时区：

date #查看系统时间
timedatectl #查看当前系统使用的时区
timedatectl set-timezone Asia/Shanghai #设置当前系统时区为亚洲上海时区

时间同步：

date -s 16:16:16 # 先一键更新各服务器时间

后期可安装配置时间同步服务ntp

（五）每个节点配置JDK

# 在所有节点上执行以下命令
mkdir /usr/java
tar -zxvf /home/jdk-8u171-linux-x64.tar.gz -C /usr/java/ #将JDK包解压到指定目录
echo 'export JAVA_HOME=/usr/java/jdk1.8.0_171' >> /etc/profile
echo 'export CLASSPATH=$JAVA_HOME/lib/' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile

#或者直接 修改 /etc/profile 配置文件添加
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile #使环境变量生效
java -version #查看JDK是否安装成功

（六）选择cdh001节点安装mysql

安装部署mysql5.7

（七）创建CDH的元数据库和用户、amon服务的数据库和用户 并赋予用户远程访问的所有权限，最后刷新权限

create database cmf DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database report DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
-- 密码根据实际情况修改成强密码
grant all privileges on cmf.* to 'cmf'@'%' identified by '123456';
grant all privileges on amon.* to 'amon'@'%' identified by '123456';
grant all privileges on report.* to 'report'@'%' identified by '123456';
grant all privileges on hive.* to 'hive'@'%' identified by '123456';
grant all privileges on oozie.* to 'oozie'@'%' identified by '123456';
grant all privileges on hue.* to 'hue'@'%' identified by '123456';
flush privileges; 

（八）节点cdh001上放mysql jdbc jar,并重命名，不能带版本号

mkdir -p /usr/share/java/
cp /home/mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar

（九）所有节点要下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

不能连外网可以用本地镜像

1.创建本地仓库目录
mkdir /home/localyumsource
# 然后将相关的rpm包上传到服务器上
2.修改yum源为本地文件目录
cd /etc/yum.repos.d/
mv CentOS-Base.repo CentOS-Base.repo.bak #备份原有文件

vi local.repo #新建源指向文件
[localsource]
name=\”CentOS glib.i686\”
baseurl=file:///home/localyumsource
enabled=1
gpgcheck=0

之后可以用yum -y install

二、离线部署CDH6.3.1

#所有节点创建录并解压cdh包
mkdir /opt/cloudera-manager
tar -xzvf /home/cm6.3.1-redhat7.tar.gz -C /opt/cloudera-manager/

（一）离线部署cm server及agent

1.选择cdh001为cm server
cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

2.所有节点(包含cdh001)为cm agent
cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force  #cdh001不要重复部署
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

3.所有节点修改agent的配置，指向server的节点cdh001
vi /etc/cloudera-scm-agent/config.ini
server_host= cdh001

#或者直接用sed命令修改
sed -i "s/server_host=localhost/server_host=hacdh001/g" /etc/cloudera-scm-agent/config.ini

4.cdh001主节点修改server的配置
vi /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=cdh001
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf
com.cloudera.cmf.db.password=123456
com.cloudera.cmf.db.setupType=EXTERNAL

（二）cdh001节点部署离线parcel源

1.安装httpd服务
yum -y install httpd

2.部署离线parcel源
mkdir -p /var/www/html/cdh6_parcel
mv /home/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json /var/www/html/cdh6_parcel
cd /var/www/html/cdh6_parcel/
#sha1重命名去掉1，不然在部署过程CM认为文件下载未完整，会持续下载
mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

3.启动httpd，windows上查看
systemctl start httpd
http://10.10.10.1/cdh6_parcel/ #查看是否可以访问

（三）启动CDH

# cdh001节点启动 server(主机需要放开7180端口)
systemctl start cloudera-scm-server
service  cloudera-scm-server status
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

# 所有节点启动 Agent
systemctl start cloudera-scm-agent
service  cloudera-scm-agent status
tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

之后都在WEB界面操作添加相关服务
打开URL：http://10.10.10.1:7180
账号密码：admin/admin

选择Cloudera Express免费版本，下一步默认

选择所有主机，下一步默认

数据库设置 输入正确的主机名、用户和密码

自定义服务，选择部署Zookeeper、HDFS、Yarn、Hive、Impala等服务
合理自定义角色分配（在默认的基础上稍加修改）

最后：