CDH6.3.1安装部署

最新推荐文章于 2024-03-18 17:54:07 发布
最新推荐文章于 2024-03-18 17:54:07 发布
阅读量603 收藏 2
点赞数
文章标签： spark hadoop zookeeper cloudera
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kkHMou/article/details/115304383
版权

硬件环境

服务器4台：

192.168.10.99 cm 4核8G CentOS7.5
192.168.10.100 matser 8核24G CentOS7.5
192.168.10.110 node1 8核16G CentOS7.5
192.168.10.120 node2 8核16G CentOS7.5

注：cm节点因为硬件资源原因只部署cloudera相关服务，zk等服务都部署在另外三个节点上面。
如果是生产集群的话，也建议CM单独一台机器，另外机器以最低5台作为集群，主备master，另外3台node节点
注：这是部署完成后补充的文档，可能会有步骤遗漏。

安装包链接：
链接：https://pan.baidu.com/s/1Ufz92SGTycqBTtYFi5Otvg
提取码：2233

1.配置yum源，关闭防火墙，修改主机映射，配置免密

**以下除了说明在哪些节点操作外，默认在cm节点进行操作
系统全部使用root用户进行安装
**

1.1 配置yum源

配置本地YUM源

#挂载centos7镜像
mount /dev/cdrom /mnt/
#删除系统自带的源
rm -rf /etc/yum.repos.d/*

新建一个本地yum源

cat >> /etc/yum.repos.d/local.repo << EOF
[centos]
name=centos
baseurl=file:///mnt
gpgcheck=0
EOF

#验证
yum repolist

1.2 安装http服务

#安装
yum install -y httpd
#启动
systemctl start httpd
#开机自启
systemctl enable httpd
#http服务可以帮助我们传输文件，默认静态资源的目录为/var/www/html

1.3 修改yum源

httpd服务装好后将yum源改成http方式获取

#在http服务的静态资源目录创建centos目录
mkdir /var/www/html/centos

#将centos的镜像文件复制到centos目录
cp -rvf /mnt/* /var/www/html/centos/

#可以通过http访问了，这里改成当前机器的IP
http://主机ip/centos/

#修改cdh-1的本地centos源的配置
vi /etc/yum.repos.d/local.repo

baseurl=http://bigdata1/centos

#取消挂载
umount /dev/cdrom /mnt

其他节点配置：这里改成cm主机的hostname
cat >> /etc/yum.repos.d/local.repo << EOF
[centos]
name=centos
baseurl=http://cm主机hostname/centos
gpgcheck=0
EOF

#验证
yum repolist

1.4 关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

1.5 配置主机映射

1.6 配置免密

#配置免密：(cm那台)
#进入~/.ssh/目录
cd ~/.ssh/
ssh-keygen -t rsa
#3次回车生成：id_rsa  id_rsa.pub 俩个文件
#将公钥发送到另外几台机器
ssh-copy-id root@192.168.10.100
ssh-copy-id root@192.168.10.110
ssh-copy-id root@192.168.10.120

2. 修改一些系统性配置文件（可跳过）

2.1 设置Swap空间（所有节点）

echo "vm.swappiness = 0" >> /etc/sysctl.conf

2.2 设置用户最大可打开文件数、进程数，内存占用（所有节点）

vim /etc/security/limits.conf

*    soft    nofile   32728
*    hard    nofile   1024999
*    soft    nproc   65535
*    hard    noroc    unlimited
*    soft    memlock    unlimited
*    hard    memlock    unlimited


sysctl -p

2.3 关闭大页面压缩（所有节点）

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

3. jdk安装（所有节点）

这里用jdk-8u281版本演示，因此次版本收费了，最后一个免费版本202如果有需要链接已放在下面
链接：https://pan.baidu.com/s/12VK9YQbKUVo6ERK7vrCVsw
提取码：2233

上传jdk.rpm包

#安装
rpm -ivh jdk-8u281-linux-x64.rpm
#修改环境变量
vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_281-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

#变量生效
source /etc/profile
验证：
java -version

4. 配置CM源

上传CDH和CM包到一个目录下，这里放在了/opt目录下面

#在/var/www/html创建存放cm包的文件夹和cdh安装包的文件夹
mkdir /var/www/html/{cm,cdh}

将cdh的安装包和cm的包移动到创建的目录

mv cloudera-manager-* /var/www/html/cm/
mv enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm /var/www/html/cm/

#移动cdh安装包和元数据文件
mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel manifest.json /var/www/html/cdh/

配置CM源

#安装
yum install -y createrepo

#进入到cm的rpm包存放目录
cd /var/www/html/cm
# 生成repodata文件夹
createrepo .


#配置CM的yum源（所有节点，或者第一台弄好，剩下的SCP过去）
cat >> /etc/yum.repos.d/cm.repo << EOF
[CM]
name=cm
baseurl=http://mirror-cm/cm/
gpgcheck=0
EOF

scp -r /etc/yum.repos.d/cm.repo root@10.108.3.111:/etc/yum.repos.d/
scp -r /etc/yum.repos.d/cm.repo root@10.108.3.112:/etc/yum.repos.d/
scp -r /etc/yum.repos.d/cm.repo root@10.108.3.113:/etc/yum.repos.d/

5. 安装

5.1安装依赖：（所有节点）

yum install -y bind-utils libxslt cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 Mysql-python fuse

5.2 安装Cloudera Manager和Cloudera Agent（cm那台，当前操作机器）

yum install  -y cloudera-manager-agent cloudera-manager-daemons cloudera-manager-server cloudera-manager-server-db-2 postgresq-server

5.3 数据库安装（MariaDB）

这里使用CentOS7.5自带的mariaDB进行演示。
不会安装的可以找一下别人的演示文档，这里忘记截图了

#安装
yum install -y mariadb-server
#启动和开机自启
systemctl start mariadb 
systemctl enable mariadb
#配置Mariadb数据库
mysql_secure_installation
------------------------------------------
输入当前密码----> 回车

Set root password? [Y/n]     是否设置root用户密码
--123456
#注意这里设置的密码不是123456则下面初始化数据库需要修改对应的密码

Remove anonymous users? [Y/n]     是否删除匿名用户

Disallow root login remotely? [Y/n]      是否允许root远程登陆

Remove test database and access to it? [Y/n]   是否删除测试用的test库

Reload privilege tables now? [Y/n]     是否刷新数据库的表的权限

mysql驱动

#创建/usr/share/java目录
mkdir -p /usr/share/java

#复制jar包到/usr/share/java下
cp mysql-connector-java-5.1.49.jar /usr/share/java/

#注意:需要改名为mysql-connector-java.jar
mv /usr/share/java/mysql-connector-java-5.1.49.jar /usr/share/java/mysql-connector-java.jar

初始化数据库：

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql localhost -uroot -p123456 --scm-host localhost scm root 123456

数据库名，数据库访问用户密码保持建表一致即可
在这里插入图片描述

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue';
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive';
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry';
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'nav';
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'navms';
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';
GRANT ALL ON *.* TO 'root'@'%' IDENTIFIED BY 'root';

#设置root可以远程登陆访问
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
flush privileges;

5.4 安装agent节点

cm，已经安装过server那台不用安装了，agent已经安装过了。确保剩下节点JDK已经安装完成。

yum -y install cloudera-manager-daemons cloudera-manager-agent

修改配置文件（所有节点）

#修改Cloudera Agent配置文件/etc/cloudera-scm-agent/config.ini，配置server_host为主节点bigdata1
#通过vim命令修改
vim /etc/cloudera-scm-agent/config.ini
server_host=cm

#或者也可以通过sed命令修改
sed -i "s/server_host=localhost/server_host=cm/g" /etc/cloudera-scm-agent/config.ini

6. 启动

6.1 启动scm server（cm那台）

#启动server 
systemctl start cloudera-scm-server
#配置开机自启
systemctl enable cloudera-scm-server

6.2 启动agent（全部节点）

#启动agent
systemctl start cloudera-scm-agent
#配置开机自启
systemctl enable cloudera-scm-agent

7. 使用

访问：
http://192.168.10.99:7180
默认：admin/admin

这里忘记截图了。

8. 其他

8.1 安装kudu服务

如果安装完的kudu服务会过会自动挂掉，那可能是没有配置ntp服务，kudu需要ntp服务。

#ntp服务(全节点)
yum -y install ntp

#在kudu master那台上面装ntp服务
vim /etc/ntp.conf

#原有的注掉
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
#新增
server  127.127.1.0
fudge   127.127.1.0 stratum 10

#其余节点：
#原有的注掉
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
#新增
server	192.168.10.100

#重启服务：
systemctl restart ntpd

#开机自启：
systemctl enable ntpd

安装完ntp服务后再重启kudu服务

8.2 添加NFS gateway实例失败

缺失依赖包：

yum -y install nfs-utils rpcbind

systemctl start rpcbind
Mua回眸
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
cdh6.3.2安装部署手册（附安装包）
02-16
1、cdh6.3.2安装部署文档； 2、cdh6.3.2 cm6.3.1安装包
cdh6.3.1 FLINK_ON_YARN-1.14.0.jar
02-14
CDH6.3.1集成安装flink on yarn服务（通过parcel制作生成的csd文件） 文件名：FLINK_ON_YARN-1.14.0.jar 相关信息如下： 1. flink版本号：1.14.0 2. 系统版本：CentOS7.7 3. CDH版本：6.3.1 4. 扩展版本号：BIN-SCALA_2.11
搭建部署CDH--亲测完成版
最新发布
weixin_45389898的博客
03-18 1686
嘿嘿吹吹风~嘿嘿放放空~ 嘿嘿快跟紧我~ 扫兴的话你别说~
CDH 6.3.1 ranger ranger-2.1.0-admin.tar.gz
11-04
CDH 6.3.1 ranger admin模块； 需要剩下的 编译包请留言。已经完全解决所有版本的编译。
CDH6.3安装指南.pdf
09-11
最详细的CDH6.3安装指南，可以一步步按照文档进行安装，并且整理了安装介质（通过百度网盘下载）。
CDH 6.3.1离线安装
weixin_40283268的博客
10-12 178
1、yarn服务报错：jobHistory server 角色进程退出，报“Error creating done directory: [hdfs://cdh01:8020/user/history/done]”将“远程Parcel存储库URL”修改为“http://cdh01/cdh6_parcel/”，其余的全部删掉，只保留这一个。保存修改，点击继续。这里内存配置为：12G、3G、3G，磁盘空间配置为：50G、50G、50G，可根据需要自行调整。选择“自定义服务”，勾选需要安装的组件，点击继续。
cdh6.3.2+cm6.3.1+gpl安装包.txt
09-10
百度云资源，官网下载慢所以上传上来了 cdh6.3.2安装包 cloudera 6.3.1安装包 gpl 安装包
CDH6.3.1部署
https://blog.datasource.space
03-18 2022
CDH部署 1.准备工作 资源有限，使用虚拟机进行如下配置 机器配置 IP 主机名 配置 192.168.130.221 CDH1 4G 2处理器 60G磁盘 192.168.130.222 CDH2 2G 1处理器 20G磁盘 192.168.130.223 CDH3 2G 1处理器 20G磁盘 建议配置 IP 主机名 配置 192.168.130.221 CDH1 8G 4处理器 80G磁盘 192.168.130.222 CDH2 4G 2处理器 5
CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 )
热门推荐
wt334502157的博客
09-14 5万+
CDH简介及CDH部署、原理和使用介绍( 版本6.3.1 ) 第一章：CDH简介 CDH概念 ​ CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。 简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间
CDH 6.3.1正式环境安装过程及注意事项，帮你一步到位
xuye0606的博客
08-16 2383
第一部分 环境检查及准备： 1.1 基础环境及镜像包准备 1.1.1 基础环境要求 名称 地址 操作系统 root密码 cdh-0001 10.1.0.30 Centos 7.7 ***** cdh-0001 10.1.0.105 Centos 7.7 cdh-0001 .
CDH6.3.1安装详细步骤(感写B站若泽大数据)
张伟的专栏
12-31 2828
0. 主机规划 虚拟机主机 IP 资源(CPU/内存/硬盘) 所在ESXi(IP) Tools 192.168.1.30 04 Core/8 GB/10 TB 192.168.1.201 cdh-server01 192.168.1.31 32 Core/64 GB/3 TB 192.168.1.202 cdh-agent0...
CDH上安装spark2的操作说明
11-16
CDH安装SPark2的方法 可以同时安装CDH的默认spark以及最近的spark2
CDH6.3.1配套CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1
06-01
博主CDH6.3.1配套CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1，仅仅限制安装博主文章中CDH-6.3.1-中使用
CDH6.3.1离线部署
09-23
CDH6.3.1版本离线部署，包含：集群初始化、JDK部署、MySQL离线部署、部署CM server和agent rpm
CDH6.3.1安装
Allenzyg的博客
05-28 5594
CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件： 1. 内存要足够大 我的电脑内存是8G： 使用虚拟机安装 Cloudare server：4G Cloudare agent：分别为1G 电脑最后很卡，而且内存98%。 官方推荐最小内存为10G，所以最好还是听从官方的建...
Spark2.4.0-CDH6.3安装与错误解决过程
爱码士的博客
08-30 2511
安装软件 首先在CM6.3上安装Spark，这里不再说明。 环境准备 安装目录：/opt/cloudera/parcels/CDH/lib/spark，作为操作的主目录。 spark-env.sh的修改 此配置文件需要在末尾添加JAVA_HOME环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera slaves的修改 这个文件需要添...
CDH之HIVE-ON-SPARK、Spark配置
ArYe
06-05 1937
hive on spark spark.driver.memory spark.executor.cores spark.executor.instances shuffle 动态分配
cdh6.3安装以及整合spark2、flink1.9
赣江
05-08 3518
总结： 配置cm-server的yum本地安装路径，使用yum安装好cm-server即可，cm-agent无需手动到节点去安装，cm会自动在节点上安装。 parcels文件不用安装yum本地源，后续直接拷贝到cm server 的/opt/cloudera/parcel-repo/下即可。 jdk手动安装，目录必须是：/usr/java/jdk-version，否则报错 yum需要安装前期的依...
CDH集群离线部署(CM6.3.1 + CDH6.3.2 + CentOS7)
小宇的博客
10-11 8554
CDH集群部署 1.1原生Hadoop的问题 版本管理过于混乱 部署过程较为繁琐,升级难度较大 兼容性差 安全性低 1.2CDH和CM(ClouderaManager) CDH(Cloudera’s Distribution Including Apache Hadoop),是Hadoop众多分中的一种，由Cloudera公司维护，基于稳定版本的ApacheHadoop构建，并集成了很多补丁，可以直接用于生产环境。就是Hadoop等大数据安装包的第三方版本的集合，提供了Hadoop等大数据服..
cdh6.3.1parcel
12-04
CDH 6.3.1 Parcel是支持Cloudera大数据平台的一种软件安装和部署方式。Parcel是一种二进制软件包的格式，用于在CDH集群中分发和安装各种组件和服务。CDH 6.3.1 Parcel即表示适用于CDH版本6.3.1的Parcel软件包。 CDH 6.3.1 Parcel是由Cloudera官方提供的，其中包含了一系列的开源大数据组件和工具，例如Hadoop、Hive、Spark、HBase等。这些组件和工具可以帮助用户处理和分析大规模的结构化和非结构化数据。它们被构建为高度扩展和分布式的系统，具有高可靠性和可伸缩性。 使用CDH 6.3.1 Parcel能够简化大数据平台的安装和管理过程。它可以通过Cloudera Manager进行集中管理和监控，用户可以通过Cloudera Manager进行集群的配置和升级，同时也提供了一套丰富的图形界面和命令行工具帮助用户管理和监控集群的运行状态。 CDH 6.3.1 Parcel还支持自定义配置和扩展。用户可以根据自己的需求进行集群的配置和组件的安装，同时还可以根据需要添加第三方工具和插件。这为用户提供了更大的灵活性和可定制性，可以根据自己的需求构建适合自己业务场景的大数据平台。 总之，CDH 6.3.1 Parcel是一种方便的软件包格式，用于安装和部署Cloudera大数据平台的各种组件和服务。它简化了集群的管理和监控，提供了灵活的配置和扩展选项，帮助用户构建高效、可靠的大数据集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值