CentOS 7.9 CDH6.3.2集群生产环境实战部署指南

已于 2024-06-26 14:02:11 修改
阅读量771 收藏 12
点赞数 24
文章标签： centos linux 运维
于 2024-06-21 10:40:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luckysign/article/details/139853329
版权

一、环境准备

1、系统环境：

# cat /etc/os-release

2、准备工作：

部署资源分配

节点centos 7.9（生产）节点规划Postgresql部署组件备注
pgsql32c、128G、2TB国产数据库Postgresql（翰高）可根据实际情况调整如mysql、mongoDB
cdh0116c、128G、1TBmaster
agent		jdk1.8
cdh0216c、128G、1TBagentjdk1.8
cdh0316c、128G、1TBagentjdk1.8
cdh0416c、128G、1TBagentjdk1.8
cdh0516c、128G、1TBagentjdk1.8

安装包下载：

夸克网盘分享夸克网盘是夸克推出的一款云服务产品，功能包括云存储、高清看剧、文件在线解压、PDF一键转换等。通过夸克网盘可随时随地管理和使用照片、文档、手机资料，目前支持Android、iOS、PC、iPad。icon-default.png?t=N7T8https://pan.quark.cn/s/cd01f3cfca27

安装包准备：

CM6.3.1

cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm

enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm

CDH6.3.2 Parcel

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el6.parcel.sha256

manifest.json

JDK

jdk-8u201-linux-x64.tar.gz

Postgresql JDBC jar

postgresql-42.2.5.jar

下载完成后要重命名去掉版本号:

mv postgresql-42.2.5.jar postgresql-connector-java.jar

3、安装基础依赖：

$ sudo yum -y install gcc gcc-c++ net-tools make autoconf sysstat bash-completion wget openssl-dev lsof vim telnet lrzsz dos2unix nohup unzip psmisc

二、环境初始化

1、关闭防火墙

    # 关闭防火墙
    echo "关闭防火墙..."
    
    # 查看防火墙状态
    firewall-cmd --state || echo "firewalld 未运行"
    
    # 临时关闭防火墙
    systemctl stop firewalld
    
    # 永久关闭防火墙
    systemctl disable firewalld
    
    # 清空防火墙规则
    iptables -F
    
    # 临时关闭selinux
    setenforce 0
    
    # 永久关闭selinux
    sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
    
    # 查看selinux状态
    getenforce

2、修改主机名

所有节点都要执行，修改后需执行bash生效

#节点1
hostnamectl set-hostname cdh01
bash

#节点2
hostnamectl set-hostname cdh02
bash

#节点3
hostnamectl set-hostname cdh03
bash

#节点4
hostnamectl set-hostname cdh04
bash

#节点5
hostnamectl set-hostname cdh05
bash

3、配置hosts文件

cat /etc/hosts

所有节点都要配置

cat >> /etc/hosts << EOF
192.168.2.161 cdh01
192.168.2.162 cdh02
192.168.2.163 cdh03
192.168.2.164 cdh04
192.168.2.165 cdh05
EOF

4、设置时间同步

#设置时区为Asia/Shanghai
timedatectl set-timezone Asia/Shanghai

#查看是否安装了ntpd的服务
rpm -qa | grep ntpd

#如果没有安装,可以进行在线安装
yum -y install ntp

#启动ntpd的服务
service ntpd start

#设置ntpd的服务开机启动
systemctl enable ntpd.service

#查看ntpd的服务是否启动
service ntpd status

#设置定时任务
#与阿里云服务器进行时钟同步
crontab -e
#设置的内容如下
*/1 * * * * /usr/sbin/ntpdate -u ntp4.aliyun.com;
设置成功后会一直出现You have new mail in /var/spool/mail/root的邮件提示，可使用下面命令关闭邮件提示
echo "unset MAILCHECK" >> /etc/profile
source /etc/profile

5、 禁用透明大页(所有节点)

#查看：查看透明大页的设置和启动状态

cat /sys/kernel/mm/transparent_hugepage/defrag
cat /sys/kernel/mm/transparent_hugepage/enabled

#操作：临时关闭
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

#永久关闭：将临时关闭命令添加到/etc/rc.d/rc.local文件中，并赋予执行权限

echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.d/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local

#验证：
cat /etc/rc.d/rc.local

6、部署PG（使用瀚高）

待更新

7、创建本地YUM仓库

安装Apache Httpd服务(master节点，本例中cdh01）

#安装
yum install httpd -y

#启动
systemctl start httpd

#设置开机自启
systemctl enable httpd

#配置Cloudera Manager安装包yum源(master节点，本例中cdh01)
#创建目录
mkdir -p /var/www/html/cloudera-repos/cm6
#！！！将下载好的cloudera的rmp安装包上传到/var/www/html/cloudera-repos/cm6
#创建仓库
yum install -y createrepo
cd  /var/www/html/cloudera-repos/cm6
#cloudera的rmp安装包所在的cm6目录下执行
createrepo .

创建repo文件

sudo cat >> /etc/yum.repos.d/cloudera-manager.repo <<EOF
[cloudera-manager]
name=Cloudera Manager 6.3.1
baseurl=http://192.168.2.161:80/cloudera-repos/cm6
gpgcheck=0
enabled=1
autorefresh=0
type=rpm-md
EOF
#清理并缓存
yum clean all
yum makecache

8、检查依赖是否安装

yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb portmap mod_ssl openssl-devel python-psycopg2 MySQL-python python-devel telnet pcre-devel gcc gcc-c++

9、所有服务器安装JDK

第一步： 安装JDK

mkdir -p /usr/java/
#进入jdk所在的目录，执行命令 注意：修改相应自己的jdk版本

tar -zxvf  jdk-8u201-linux-x64.tar.gz -C /usr/java/ && cd /usr/java/  && mv jdk1.8.0_201 default

#编辑配置文件
vim /etc/profile


#将以下内容添加到文件中：
export JAVA_HOME=/usr/java/default  #java的实际路径
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
#使之生效
source /etc/profile

第二步： 添加postgresql驱动包

mkdir -p /usr/share/java/
cd /usr/share/java/
#重命名不不能带版本号
mv postgresql-42.2.5.jar postgresql-connector-java.jar
#分发到其他节点 拷贝过去
scp postgresql-connector-java.jar cdh02:/usr/share/java/
scp postgresql-connector-java.jar cdh03:/usr/share/java/
……

注：所有服务器都要配置

三、Cloudera Manager部署

1、安装 Cloudera Manager(master节点，本例中cdh01)

#安装master
sudo yum install -y cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

#安装完CM后/opt/ 下会出现cloudera目录
cd /opt/cloudera/parcel-repo/

上传CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel到/opt/cloudera/parcel-repo目录
校验文件是否下载完全
ll

#total 2033432
#-rw-r--r-- 1 root root 2082186246 Apr 4 14:31 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
#-rw-r--r-- 1 root root 40 Apr 4 14:31 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
#-rw-r--r-- 1 root root 33887 Apr 4 14:31 manifest.json

#将parcel包移动到指定位置，别忘了manitest.json文件
#赋权限
sudo chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/

#执行脚本scm_prepare_database.sh
#PG数据库
cd /opt/cloudera/cm/schema/
./scm_prepare_database.sh -h 192.168.2.161 -P 5866 postgresql scm scm 密码


#替换CDH-server服务器的host
sudo sed -i "s/server_host=localhost/server_host=cdh01/g" /etc/cloudera-scm-agent/config.ini

#查看数据库的配置
vim /etc/cloudera-scm-server/db.properties

2、安装所有节点agent并修改配置

#部署agent
sudo yum install -y cloudera-manager-daemons cloudera-manager-agent
#修改文件中server_host的属性值
#所有节点修改agent的配置，指向server的节点node161【manager端地址】

sudo sed -i "s/server_host=localhost/server_host=cdh01/g" /etc/cloudera-scm-agent/config.ini

#启动 CM服务，先启动master当确认master正常运行的情况下再启动agent：
systemctl start cloudera-scm-server && systemctl enable cloudera-scm-server && systemctl status cloudera-scm-server

#检查master服务运行状态

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log | grep "INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server"

#出现INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server则启动成功

#所有节点启动CM agent
sudo systemctl start cloudera-scm-agent && sudo systemctl enable cloudera-scm-agent

查看agent日志
tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

#启动如果有问题查看log。/var/log/cloudera-scm-server，启动server 和agent 尽量一起启动否则报错：

浏览器登陆CM 管理界面验证：初始用户密码 admin/admin

web页面：http://IP:7180/

默认登录账号： admin

默认登录密码： admin

## 建议选择免费

设置集群名称：

当你先启动master后启动agent时，否则与以下界面会有所不同

选择CDH parcel 版本

安装时报错 “Parcel 不可用于操作系统分配 RHEL7” 请看：

安装CDH时报错：Parcel 不可用于操作系统分配 RHEL7，原因与解决办法～-CSDN博客

小角色也有大梦想
关注
  • 24
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
cdh6.3.2安装部署手册（附安装包）
02-16
1、cdh6.3.2安装部署文档； 2、cdh6.3.2 cm6.3.1安装包
CDH 6.3.2安装部署（超详细）
最新发布
2201_75470972的博客
05-23 2331
超级详细的cdh6.3.2安装部署教程
大数据平台CDH6.3.2安装部署全过程
daining424的博客
09-17 3444
大数据平台CDH6.3.2安装部署全过程一、CDH介绍二、 安装环境2.1 虚拟机版本：VMware Workstation 15 Pro2.2 Linux CentOS-7.3 台2.3 安装包准备:三、 环境配置3.1 网络配置3.2 防火墙配置3.3 主机配置3.4 JDK配置3.5 安装cloudera-manager-daemons四、克隆虚拟机及配置4.1 克隆机器之前已完成4.2 克隆节点CDH02、CDH03的环境配置4.3 克隆节点CDH02、CDH03网络配置4.3.1 生成uuid4.
CDH6.3.2安装部署
qq_41041447的博客
06-15 3612
CDH安装过程（6.3.2）环境篇 一、系统级别配置 1.服务器磁盘做raid 略 2.安装操作系统 操作系统选择为CentOS7.6 3.磁盘分区 由于数据盘都是大于2T的磁盘，因此采用如下方式，如果磁盘大小小于2T，可采用fdisk的方式 cd /dev ls parted /dev/sdb print unit TB mklabel gpt mkpart primary 0 2.40TB quit 4.关闭防火墙 systemctl stop firewalld chkconfig firewall
CentOS7安装部署CDH6.2.1
Z-NOTE
10-23 583
Cloudera Manager 是一个用于管理 CDH 集群的端到端应用程序。
Centos7部署CDH6.3.2集群.doc
03-06
Centos7部署CDH6.3.2集群
Centos-CDH6.3.2完整安装包网盘下载地址
03-27
CentOS-CDH6.3.2完整安装包资源包含了Cloudera Manager、CDH核心组件、附加组件和服务，以及相关的文档和示例，为用户提供了构建和管理大数据处理平台的一站式解决方案
CDH6.3.2+centos7完全离线下安装手册
09-12
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 manifest.json CentOS-7-x86_64-DVD-1611.iso cm6.3.1-redhat7....
大数据技术之CM6.3.1+CDH6.3.2集群模式部署Dolphinscheduler.pdf
11-23
大数据技术之CM6.3.1+CDH6.3.2集群模式部署Dolphinscheduler 大数据技术之CM6.3.1+CDH6.3.2集群模式部署Dolphinscheduler是大数据领域的一种集群模式部署解决方案。该解决方案使用CDH6.3.2集群模式，结合Dolphin...
postgresql-42.2.5
11-30
postgresql-42.2.5 JBDC驱动,这个驱动可以用于Pycharm连接到PostgreSQL，具体操作方法可以阅读《Pycharm 配置PostgreSQL-利用自带database》 网址：https://blog.csdn.net/xuefeng_he/article/details/128120998?spm=1001.2014.3001.5502
大数据技术之Centos7.6部署CM6.3.1+CDH6.3.2集群.pdf
11-23
Centos7.6部署CM6.3.1+CDH6.3.2集群.pdf
基于CentOS7的CDH6.3.2完全分布式集群搭建【上】
Hans的博客
01-04 726
基于CentOS7的CDH6.3.2完全分布式集群搭建
postgresql jar 包下载地址
enviable的博客
09-16 5214
pg jar
CDH-6.3.2部署手册 已验证
qq_35139965的博客
08-19 494
CDH-6.3.2 环境搭建
CDH 6.3.2集群安装部署
Aidon博客
04-13 2955
首先，先说一下Cloudera公司，Cloudera公司提供了一个灵活的、可扩展的、容易集成和方便管理的平台，提供Web浏览器操作，容易上手。 CDH 6.3.2安装部署也也非常容易安装和操作。 本文是基于Centos 7 、MySQL 5.x 和 CDH 6.3.2来安装完成。
【手册】CDH6.3.2及hadoop生态圈工具安装部署手册（附带安装包）
遇事不决问春风
05-13 2046
大数据测试环境CDH6.3.2安装部署手册 一、前期准备 1、服务器3台，系统要求centos7,服务器配置24核心+64G内存+2.7T磁盘 2、CDH6.3.2相关资源，目前在线下载已收费，只能采用离线安装 3、CM6.3.1相关资源，目前在线下载已收费，只能采用离线安装 4、mysql驱动，jdk安装包 5、集群规划 6、Flink1.12目前官网没有提供，官网只提供了flink1.9版本的集成，如需使用需要自己编译。 内存 磁盘 CPU cm cdh Mysql Hive Impala K
Centos7.6部署CM6.3.1与CDH6.3.2集群指南
该资源是一份关于在CentOS7.6操作系统上部署Cloudera Manager(CM)6.3.1和CDH6.3.2集群的详细指南。这份PDF文档涵盖了从环境准备到集群搭建的全过程，适用于对大数据处理有需求的用户。 在大数据领域，Cloudera ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值