CDH 5.15.2 离线部署

最新推荐文章于 2023-08-06 17:06:25 发布

苏先生_404

最新推荐文章于 2023-08-06 17:06:25 发布

阅读量1.1k

点赞数

分类专栏： CDH 文章标签： CDH

本文链接：https://blog.csdn.net/weixin_40420525/article/details/88772693

版权

CDH 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

此前看网上的CDH 安装部署文档，都是比较详细的，不过觉得有一些细节点描述的不够多，这样对刚入门CDH的人来说，总是会碰到奇奇怪怪的问题，这里我尽量把文档做的细节点。仅供参考。

1.环境准备

1.1 前置要求

！！！CDH安装前置篇必看

这里主要包括，CDH5.x 系列的 Linux的类型和版本怎么选择，JDK怎么选择版本，数据库类型和版本怎么选择，建议刚入门的小伙伴一定要仔细的看一次；

我这次以三台阿里云主机用来部署安装；

1.2 关闭防火墙（三台节点都需要操作）

[root@deppon001 current]# systemctl stop firewalld.service
[root@deppon001 current]# systemctl disable firewalld.service

1.3 修改hosts文件（三台节点都需要操作）

在hosts文件中，配置上你的机器的ip 和hostname 切记最上面两行不要删除！！！

[root@deppon001 current] vim /etc/hosts
127.0.0.1       localhost       localhost.localdomain   localhost4      localhost4.localdomain4
::1     localhost       localhost.localdomain   localhost6      localhost6.localdomain6
172.24.55.92    deppon001       deppon001
172.24.55.93    deppon002       deppon002
172.24.55.91    deppon003       deppon003

1.4 安装配置jdk(三台节点都需要操作)

具体的可以参考JDK安装配置，比较详细。

安装

[root@deppon001 current] mkdir /usr/java
# 解压缩
[root@deppon001 ~] tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/java
[root@deppon001 ~] cd /usr/java
[root@deppon001 java] mv jdk1.8.0_181/ jdk1.8
# 修改权限
[root@deppon001 java] chmod -R root:root jdk1.8/

配置
修改 /etc/profile 增加下面两句

[root@deppon001 java] vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8
export PATH=.:$JAVA_HOME/bin:$PATH

验证

[root@deppon001 java]# vim /etc/profile
[root@deppon001 java]# source /etc/profile
[root@deppon001 java]# echo $JAVA_HOME/
/usr/java/jdk1.8/

1.5 配置NTP (云主机跳过，不需要配置)

三台节点都要配置

[root@deppon001 ~] ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 
[root@deppon001 ~] yum install -y ntpdate

NTP主节点配置：

[root@deppon001 ~] cp /etc/ntp.conf /etc/ntp.conf.bak
[root@deppon001 ~] cp /etc/sysconfig/ntpd /etc/sysconfig/ntpd.bak
# 改成你自己的ip 网段
[root@deppon001 ~] echo "restrict 172.24.55.0 mask 255.255.255.0 nomodify notrap" >> /etc/ntp.conf
[root@deppon001 ~] echo "SYNC_HWCLOCK=yes" >> /etc/sysconfig/ntpd

[root@deppon001 ~] service ntpd restart

ntp客户端节点配置：
然后在所有节点都设置定时任务 crontab –e 添加如下内容：

*/30 * * * * /usr/sbin/ntpdate 172.16.101.54

1.6 关闭大页面(三台节点都需要操作)

[root@deppon001 ~] echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@deppon001 ~] echo never > /sys/kernel/mm/transparent_hugepage/enabled

[root@deppon001 ~] echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'>>  /etc/rc.local
[root@deppon001 ~] echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'>>  /etc/rc.local

修改swp(三台节点都需要操作)

[root@deppon001 java]# echo 'vm.swappiness = 10' >> /etc/sysctl.conf
[root@deppon001 java]# sysctl -p
vm.swappiness = 0
net.ipv4.neigh.default.gc_stale_time = 120
net.ipv4.conf.all.rp_filter = 0
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 1024
net.ipv4.tcp_synack_retries = 2
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
kernel.sysrq = 1
vm.swappiness = 10

swap=0-100
0不代表禁用而是惰性最高
100表示使用积极性最高

集群计算对实时性要求高的 swap=0 允许job挂迅速的加内存或调大参数重启job
集群计算对实时性要求不高的 swap=10/30 不允许job挂慢慢的运行

2安装httpd服务（在主节点上完成）

2.1 安装并开启

[root@deppon001 java]yum install -y httpd
[root@deppon001 java]systemctl start httpd.service
[root@deppon001 java]systemctl enable httpd.service
[root@deppon001 java]systemctl status httpd.service

在浏览器中输入你的ip，如果是云主机需要把80端口开放出来，出现以下页面说明http服务没有问题。
在这里插入图片描述

2.2 创建 parcels 文件

[root@deppon001 parcels] cd /var/www/html
[root@deppon001 parcels] mkdir parcels
[root@deppon001 html] cd parcels

2.3 下载 parcel 文件

下载说明：
地址，在下载地址中选择好对应的CDH版本，值得提到的是，elx 就是代表了centos的版本号 el7就是值centos7的版本。
在这里插入图片描述
下载

[root@deppon001 parcels] wget http://archive.cloudera.com/cdh5/parcels/5.15.2/CDH-5.15.2-1.cdh5.15.2.p0.3-el7.parcel

[root@deppon001 parcels] wget http://archive.cloudera.com/cdh5/parcels/5.15.2/CDH-5.15.2-1.cdh5.15.2.p0.3-el7.parcel.sha1


[root@deppon001 parcels] wget http://archive.cloudera.com/cdh5/parcels/5.15.2/manifest.json

去掉名称结尾"1",不然 CDH 在装的时候,会一直认为是在下载,是未完成的

[root@deppon001 parcels] mv CDH-5.15.2-1.cdh5.15.2.p0.3-el7.parcel.sha1 CDH-5.15.2-1.cdh5.15.2.p0.3-el7.parcel.sha

2.4 校验下载的文件是否损坏

[root@deppon001 parcels] sha1sum CDH-5.15.2-1.cdh5.15.2.p0.3-el7.parcel
8a08c97167587497af69ab50f7665a5364292fcd  CDH-5.15.2-1.cdh5.15.2.p0.3-el7.parcel
[root@deppon001 parcels] cat CDH-5.15.2-1.cdh5.15.2.p0.3-el7.parcel.sha 
8a08c97167587497af69ab50f7665a5364292fcd

2.5 下载cm5.15.2-centos7，配置http服务

地址（选择你需要的对应版本）

[root@deppon001 parcels] mkdir /opt/rpminstall
[root@deppon001 parcels] cd /opt/rpminstall/
[root@deppon001 rpminstall] wget http://archive.cloudera.com/cm5/repo-as-tarball/5.15.2/cm5.15.2-centos7.tar.gz
[root@deppon001 rpminstall] tar -zxvf cm5.15.2-centos7.tar.gz -C /var/www/html/

创建和官网一样的目录路径,然后 mv 到指定路径(十分重要)

[root@deppon001 rpminstall] cd /var/www/html/
[root@deppon001 html] ll
total 8
drwxrwxr-x 3 1106  592 4096 Nov 12 18:00 cm
drwxr-xr-x 2 root root 4096 Mar 24 01:11 parcels
[root@deppon001 html] mkdir -p cm5/redhat/7/x86_64/
[root@deppon001 html] mv cm cm5/redhat/7/x86_64/
[root@deppon001 html]#

[root@deppon001 x86_64] cd /var/www/html/cm5/redhat/7/x86_64/cm/5/RPMS/x86_64
[root@deppon001 x86_64] ll
total 1017652
-rw-rw-r-- 1 1106 592   9859196 Nov 11 16:53 cloudera-manager-agent-5.15.2-1.cm5152.p0.2.el7.x86_64.rpm
-rw-rw-r-- 1 1106 592 788327364 Nov 11 16:53 cloudera-manager-daemons-5.15.2-1.cm5152.p0.2.el7.x86_64.rpm
-rw-rw-r-- 1 1106 592      8704 Nov 11 16:53 cloudera-manager-server-5.15.2-1.cm5152.p0.2.el7.x86_64.rpm
-rw-rw-r-- 1 1106 592     10608 Nov 11 16:53 cloudera-manager-server-db-2-5.15.2-1.cm5152.p0.2.el7.x86_64.rpm
-rw-rw-r-- 1 1106 592  30604196 Nov 11 16:53 enterprise-debuginfo-5.15.2-1.cm5152.p0.2.el7.x86_64.rpm
-rw-rw-r-- 1 1106 592      1066 Nov 11 16:59 generated_index.html
-rw-rw-r-- 1 1106 592  71204325 Nov 11 16:53 jdk-6u31-linux-amd64.rpm
-rw-rw-r-- 1 1106 592 142039186 Nov 11 16:53 oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
[root@deppon001 x86_64]#

2.6 配置本地的yum源（三台都要安装）

CDH集群在安装时会就从本地down包,不会从官网了

[root@deppon001 x86_64] vi /etc/yum.repos.d/cloudera-manager.repo
[cloudera-manager]
name = Cloudera Manager, Version 5.15.2
baseurl = http://172.24.55.92/cm5/redhat/7/x86_64/cm/5/
gpgcheck = 0

出现以下界面说明完成了
在这里插入图片描述

3. Cloudera-Server 部署和启动

3.1 安装 cloudera-manager-daemons 和 cloudera-manager-server

note：一定要先安装cloudera-manager-daemons 再安装server

[root@deppon001 x86_64] cd /var/www/html/cm5/redhat/7/x86_64/cm/5/RPMS/x86_64
[root@deppon001 x86_64] yum install -y cloudera-manager-daemons-5.15.2-1.cm5152.p0.2.el7.x86_64.rpm
[root@deppon001 x86_64] yum install -y cloudera-manager-daemons-5.15.2-1.cm5152.p0.2.el7.x86_64.rpm

3.2 配置 jdbc 驱动（主节点完成）

$>cd /usr/share/java
$>unzip mysql-connector-java-5.1.37.zip
$>cd mysql-connector-java-5.1.37
##必须改名为 mysql-connector-java.jar，不然后面会报错 ##将驱动包移动到/usr/share/java 路径下
$>cp mysql-connector-java-5.1.37-bin.jar ../mysql-connector-java.jar

3.3 创建元数据库和用户(主节点完成)

$>su - mysqladmin
$>mysql –uroot -p
mysql>create database cmf DEFAULT CHARACTER SET utf8; 
mysql>grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY '123456'; 
mysql>flush privileges;
mysql>create database amon DEFAULT CHARACTER SET utf8; 
mysql>grant all on amon.* TO 'amon'@'%' IDENTIFIED BY '123456';
 mysql>flush privileges;

3.4 修改 cloudera-scm-server 和 MySQL 的配置

[root@deppon001 mysql] cd /etc/cloudera-scm-server/
[root@deppon001 cloudera-scm-server] vi db.properties
[root@deppon001 cloudera-scm-server]
com.cloudera.cmf.db.type=mysql 
com.cloudera.cmf.db.host=172.24.55.92
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=cmf 
com.cloudera.cmf.db.password=123456 
##这句话很重要 
com.cloudera.cmf.db.setupType=EXTERNAL

3.5 启动 cm server

$>service cloudera-scm-server start

3.6 实时查看 cm server 的启动日志

$>cd /var/log/cloudera-scm-server/
$>tail -f cloudera-scm-server.log

4.Cloudera-Agent 部署&Parcels 部署&各服务的进程角色分配

4.1 打开ip：7180 登录

登录名/密码 admin/admin
在这里插入图片描述

4.2 最终用户许可条款和条件同意

在这里插入图片描述

4.3 选择免费版本

在这里插入图片描述

4.4 为 CDH 群集安装指定主机

输入三台机器的hostname 点击搜索
在这里插入图片描述

4.5 为 CDH 群集安装指定主机

在这里插入图片描述

4.6 选择存储库

选择更多选项，在远程parcels库中，填入你的 ip/parcels,就是之前配置的httpd 服务，然后把别的远程parcels库全部删除掉；
在这里插入图片描述

在这里插入图片描述
选择自定义存储库, 输入配置httpd的内网 IP 地址/cm5/redhat/6/x86_64/cm/5/

在这里插入图片描述

4.7 不要安装Oracle JDK

在这里插入图片描述

4.8 不要勾选单用户模式

在这里插入图片描述

4.9 提供 SSH 登录凭据

选择root，输入密码
在这里插入图片描述

4.10 正在安装

4.11 安装完成

4.12 正在安装选定 Parcel

在这里插入图片描述

4.13 检查主机准确性

在这里插入图片描述

4.14 选择您要在集群上安装的 CDH5 服务(HDFS+YARN+Zookeeper)

建议，刚安装CDH的小伙伴不要安装太多的服务，选择自定义服务，尽量安装少些服务
在这里插入图片描述

在这里插入图片描述

4.15 自定义角色分配

在这里插入图片描述

4.16 数据库设置

在这里插入图片描述

4.17 配置文件（默认就好）

在这里插入图片描述

4.18 首次运行服务

在这里插入图片描述

4.20 成功完成集群安装

在这里插入图片描述

苏先生_404

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
CDH 5.15.2 离线部署

安装配置jdk(三台都要配置)mkdir /usr/javatar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/javamv jdk1.8.0_181/ jdk1.8chmod -R root:root jdk1.8/配置环境变量修改hostsvim /etc/hostsexport JAVA_HOME=/usr/java/jdk1.8ex...
复制链接

扫一扫