CDH6.3.2安装文档

最新推荐文章于 2024-06-12 18:02:46 发布
最新推荐文章于 2024-06-12 18:02:46 发布
阅读量865 收藏 12
点赞数 27
分类专栏： 大数据 文章标签： cloudera 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uniquecapo/article/details/139348046
版权

前置环境：

操作系统： CentOS Linux release 7.7

java JDK ： 1.8.0_231

1、准备工作

准备以下安装包：

Cloudera Manager:

cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

CDH Parcel:

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1

manifest.json

MySQL：

mysql-community-common-5.7.19-1.el7.x86_64.rpm

mysql-community-libs-5.7.19-1.el7.x86_64.rpm

mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm

mysql-community-devel-5.7.19-1.el7.x86_64.rpm

mysql-community-client-5.7.19-1.el7.x86_64.rpm

mysql-community-server-5.7.19-1.el7.x86_64.rpm

全部放在/opt/CDH6.3.2 中

2、集群规划
hostnameIP角色CM组件软件包
bigdata1172.16.1.62masterserver,agentJDK1.8,mysql5.7
bigdata2172.16.1.63slaveagentJDK1.8
bigdata3172.16.1.64slaveagentJDK1.8
bigdata4172.16.1.65slaveagentJDK1.8
bigdata5172.16.1.67slaveagentJDK1.8
bigdata6172.16.1.68slaveagentJDK1.8
3、系统准备
3.1 修改主机名及映射（全部节点）
vi /etc/hostname
vi /etc/hosts
3.2 配置免密登录（SSH）（全部节点）

在用户主目录下，进入.ssh文件夹：

cd ~/.ssh

生成密钥：

ssh-keygen -t rsa

发放其他主机：

ssh-copy-id 主机名
3.3 时间同步NTP

所有节点安装ntp

yum -y install ntp

主节点：

vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10
注释掉其他server xxx irurst

其他节点

vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10
server bigdata1 iburst
注释掉其他server xxx irurst

添加server主机ip

vi /etc/sysconfig/ntpd
SYNC_CLOCK=yes

启动服务

systemctl start ntpd.service
​
systemctl enable ntpd.service
​
service ntpd status

其他节点：

crontab -e

写入：

*/10 * * * * /usr/sbin/ntpdate 主节点
3.4 修改系统参数（全部节点）
sysctl vm.swappiness=10
echo 'vm.swappiness=10'>> /etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local
3.5 安装http（master节点）
yum -y install httpd

启动服务

service httpd start
4、安装软件
4.1 安装依赖（全部节点）
yum -y install chkconfig
yum -y install bind-utils
yum -y install chkconfig
yum -y install cyrus-sasl-gssapi
yum -y install cyrus-sasl-plain
yum -y install fuse
yum -y install fuse-libs
yum -y install gcc
yum -y install libxslt
yum -y install mod_ssl
yum -y install MySQL-python
yum -y install openssl
yum -y install openssl-devel
yum -y install perl
yum -y install portmap
yum -y install postgresql-server
yum -y install psmisc
yum -y install python-devel
yum -y install python-psycopg2
yum -y install python-setuptools
yum -y install sed
yum -y install sqlite
yum -y install swig
yum -y install zlib
yum -y install lsb
yum -y install libaio
​
4.2 安装JDK（全部节点）

1）上传JDK，在root用户下解压和配置，目录为：/usr/local/java/jdk1.8.0_231

mkdir -p /usr/share/java

将mysql-connector-java-5.1.46.jar拷贝至/usr/share/java/ 并更名为mysql-connector-java.jar

修改配置文件vi /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_231
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

添加软连接

ln -s /usr/local/java/jdk1.8.0_231/bin/java /usr/bin/java

mkdir /usr/java

ln -s /usr/local/java/jdk1.8.0_231 /usr/java/default
4.3 安装mysql（master节点）

按以下顺序安装

cd /opt/CDH6.3.2/mysql
rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force

启动mysql

systemctl start mysqld

设置开机自启动mysql

systemctl enable mysqld

获取临时密码

cat /var/log/mysqld.log | grep password

查询到初始密码 2eB>8r;ZEO%2

使用初始密码登录mysql账号

mysql -uroot -p’2eB>8r;ZEO%2’

设置mysql root密码

set password=password('Pw#123456');
​
quit;

登陆设置允许外网访问当前的MySQL

mysql -uroot -pPw#123456
use mysql;
update user set host='%' where host='localhost';
delete from user where host != '%';
flush privileges;
quit;

建立相关数据库及用户

mysql -uroot -pPw#123456
grant all on *.* to root@'%' identified by "Pw#123456" with grant option;
create database scm default character set utf8 default collate utf8_general_ci;
grant all on scm.* to 'scm'@'%' identified by 'Pw#123456';
create database hue default character set utf8 default collate utf8_general_ci;
grant all on hue.* to 'hue'@'%' identified by 'Pw#123456';
create database hive default character set utf8 default collate utf8_general_ci;
grant all on hive.* to 'hive'@'%' identified by 'Pw#123456';
flush privileges;
5、安装CM
5.1 安装deamons（全部节点）
cd /opt/CDH6.3.2/cm
​
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
5.2 安装agent（全部节点）
cd /opt/CDH6.3.2/cm
​
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
5.3 配置agent的server节点（全部节点）
cp /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/config.ini.template
​
vim /etc/cloudera-scm-agent/config.ini
server_host=bigdata1(主节点主机名)
5.4 安装server（master节点）
cd /opt/CDH6.3.2/cm
​
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
6、启动CM
6.1 上传CDH包到parcel-repo（master节点）
cp /opt/CDH6.3.2/parcel/* /opt/cloudera/parcel-repo/

修改sha1为sha

mv /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
mkdir -p /var/www/html/cdh6_parcel

将/opt/cloudera/parcel-repo 下的文件复制到 /var/www/html/cdh6_parcel/

cp  /opt/cloudera/parcel-repo/* /var/www/html/cdh6_parcel/
6.2 修改配置（master节点）
vim /etc/cloudera-scm-server/db.properties

# 填入如下内容

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.host=bigdata1:3306
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.password=Pw#123456
6.3 启动server（master节点）
service cloudera-scm-server start

查看server状态

systemctl status cloudera-scm-server  
6.4 启动agent（全部节点）
service cloudera-scm-agent start

查看agent状态

systemctl status cloudera-scm-agent
7、安装CDH集群（master节点IP）

http://172.16.1.62:7180/cmf/login

账号：admin

密码：admin

进行访问，根据提示进行安装7.1 点击继续

7.2 同意协议

7.3 选择第一个版本Cloudera Express

7.4 点击继续

7.5 集群命名

7.6 选择服务器

7.7 使用Parcel安装

7.8 开始下载安装

7.9 检查机器

7.10 选择安装服务，自定义安装

7.11 自定义角色分配

7.12 数据库配置

7.13 审核更改

路径配置较复杂，不同环境可能不一样，需要一一确认

7.14 部署

7.15 安装完成

7.16 页面展示

Universe_Admin
关注
  • 27
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH6.3.2安装包申请链接及组件版本
ClouderaHadoop的博客
03-10 2897
cdh6.3.2组件名称 版本 Supervisord 3 Cloudera Manager Agent 6.3.1 Cloudera Manager Management Daemon 6.3.1 Flume NG 1.9.0+cdh6.3.2 Hadoop 3.0.0+cdh6.3.2 HDFS 3.0.0+cdh6.3.2 HttpFS 3.0.0+cdh6.3.2 hadoop-kms 3.0.0+cdh6.3.2 MapReduce 2 3.0.0+cdh6.3.2 YARN 3.0.0+cdh6
cdh安装文档
10-31
傻瓜式安装cdh,
CDH6.3.2安装包全+Flink+Doris2.0 都是CDH适配的，采用阿里网盘的方式
07-08
CDH6.3.2安装包全+Flink1.17+Phonex+Doris2.0 都是CDH适配的
CDH6.2.0最全安装包
04-07
CDH6.2.0最全安装包，包括管理服务以及客户端软件，还包括mysql5.7的安装包。
CDH大数据平台部署安装（详细）
最新发布
m0_73800495的博客
06-12 1207
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
CDH安装文档
qxf1374268的博客
02-13 351
一，安装环境 CentOS6.8虚拟机三台 每台内存1G 每台硬盘50G 二，需要的安装包 CDH5.9.0安装包 里面包含的文件： Parcel里面包含的文件： rpms里面包含的文件： 首先要确认这些文件数量正确，才能开始下面的安装 三，安装步骤 首先，将第二部中的安装包挪到各个节点下，这边我是三台主机，划分成为了一个主节点，两个从节点。建议下面操作使...
CDH6.3.2安装包及安装教程
05-08
manifest.json CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm 离线部署教程
适配CDH6.3.2的Spark3.2.2
08-16
Spark3.2.2是Apache Spark的一个重要版本，它提供了许多新特性和性能...需要注意的是，安装和配置Spark时，要遵循CDH的官方文档，以确保所有依赖项和设置正确无误。此外，定期更新和打补丁以保持系统的安全性至关重要。
CDH6.3.2离线安装部署下载
02-16
1、完整的CDH6.3.2离线安装包，包含CM6.3.1 2、离线安装部署文档
CDH6.3.2安装包及安装教程网盘下载地址.txt
04-10
从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问。也就是说CDH各版本都不能免费获取了。 安装教程中详细说明了安装过程中遇到的各种问题，并且整个过程不需要依赖外网，全部为离线安装。 网盘下载《CDH6.3.2安装包及安装教程网盘下载地址.txt》，包括： manifest.json CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel.sha CentOS7.6下CDH6.3.2离线安装教程(正式环境).docx
cdh6.3.2+cm6.3.1+gpl安装包.txt
09-10
百度云资源，官网下载慢所以上传上来了 cdh6.3.2安装包 cloudera 6.3.1安装包 gpl 安装包
CDH 5.5.0 - 安装文档(Hadoop详细版)
07-26
本文介绍 CDH 安装，安装版本以当前最新版 CDH 5.5.0 为例。 CDH 提供了自动在线安装，手动离线安装的方式，本文介绍的安装方式为完全离线 安装。是同时适用于测试环境、生产环境的安装方式，对应官方安装文档章节为: Installation Path C - Manual Installation Using Cloudera Manager Tarballs
CDH6.3.2安装包及下载地址
08-17
3. **CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha** 和 **CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256**：这两个文件提供了安装包的SHA1和SHA256校验码，用于验证下载的安装包完整性和真实性。...
Centos-CDH6.3.2完整安装包网盘下载地址
03-27
CentOS-CDH6.3.2完整安装包资源包含了Cloudera Manager、CDH核心组件、附加组件和服务，以及相关的文档和示例，为用户提供了构建和管理大数据处理平台的一站式解决方案
CDH离线安装文档
shengjk1的博客
09-22 743
CDH5.4.3安装 准备工作 1, 配置hostname vi /etc/sysconfig/network 修改hostname： NETWORKING=yes HOSTNAME=master 通过 service network restart 重启网络服务生效。 vi /etc/hosts ,修改ip与主机名的对应关系 2，所有节点统一安装sunjdk1.7 要求设置 卸载
cdh6.3.2安装包
08-11
CDH（Cloudera Distribution Hadoop）是一个由Cloudera公司推出的...需要注意的是，安装CDH涉及到比较复杂的配置和管理过程，建议在安装之前仔细阅读相关文档和参考资料，并确保操作系统和硬件等环境满足CDH的要求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值