Centos7.9部署CDH6.3.2集群(离线版本)

最新推荐文章于 2023-01-11 17:45:41 发布
最新推荐文章于 2023-01-11 17:45:41 发布
阅读量1.6k 收藏 4
点赞数 1
分类专栏： 大数据 文章标签： hadoop mysql hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37859032/article/details/122404523
版权

https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/installation.html
常用地址

组件地址
CMhttp://node1:7180/ 用户名admin密码admin
HDFShttp://node1:9870/
ZKnode1:2181,node2:2181,node3:2181
KAFKAnode1:9092,node2:9092,node3:9092
MySQLnode1:3306 root 123456
Hivejdbc:hive2://node1:10000
Impala
HBasehttp://node1:16010/master-status
YARNhttp://node1:8088/cluster
Sparkhttp://node1:18088
Solr
HUE

一.CDH介绍

是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建
提供了Hadoop的核心
可扩展存储
分布式计算
基于Web的用户界面
CDH优点
版本划分清晰
更新速度快
支持Kerberos认证

二.安装环境

1.系统说明

操作系统CPU内存硬盘IP主机名
Centos7.98C16G100G192.168.1.100node1
Centos7.98C16G100G192.168.1.101node2
Centos7.98C16G100G192.168.1.102node3

2.版本说明

CM 6.3.1，CDH 6.3.2 （6.3.3版本及以上的要收费了）

3.组件版本

在这里插入图片描述

4.安装包准备

  • Cloudera Manger下载
    cloudera-manager-server-6.3.1-1466458.el7.x86_64
    cloudera-manager-agent-6.3.1-1466458.el7.x86_64
    cloudera-manager-daemons-6.3.1-1466458.el7.x86_64
  • CDH下载
    CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
    CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
    manifest.json
  • MySQL驱动
    mysql-connector-java-5.1.49.tar.gz

下载地址 https://hadoop-install.bklab.cn/cm6/6.3.2/

5.挂载本地Yum镜像

见 https://blog.csdn.net/m0_37859032/article/details/122370631

三.环境配置

1.主机配置

vi /etc/hosts
192.168.1.100 node1
192.168.1.101 node2
192.168.1.102 node3

2.防火墙配置

# 查看防火墙状态
firewall-cmd --state
#停止firewall
systemctl stop firewalld.service
#禁止firewall开机启动
systemctl disable firewalld.service

3.SELinux配置

vi /etc/selinux/config
SELINUX=disabled

4.SSH免密登录

#生成ssh key
ssh-keygen
#其他服务器免密码：
ssh-copy-id root@xxx.xxx.xxx.xxx
#测试
ssh root@xxx.xxx.xxx.xxx
#退出
exit

5.chrony时间同步

CentOS 7默认以chronycd服务作时间同步，而不以ntpd作为同步服务

#查看系统是否已安装chrony
rpm -qa |grep chrony
#安装
yum -y install chrony
#启动chrony服务
systemctl start chronyd.service
#设置开机同步时间
systemctl enable chronyd.service
#查看服务状态
systemctl status chronyd.service
#手动同步时钟
chronyc -a makestep 
#显示当前chronyd正在访问的时间源的信息
chronyc sources -v
# 查看当前时区及时间
timedatectl
  • 配置server
#修改/etc/chrony.conf配置
vi /etc/chrony.conf
#修改三项
server node1 iburst   #表示与本机IP同步时间，其他server注释或删除
allow 0.0.0.0/0   # 指定一台主机、子网，或者网络以允许或拒绝NTP连接到扮演时钟服务器的机器
local stratum 10    #不去同步任何人的时间。时间同步服务级别
#启动并自启chrony服务
systemctl restart chronyd.service
systemctl enable chronyd.service
  • 配置client
vi /etc/chrony.conf
#修改一项，其他server注释或删除
server 192.168.1.100 iburst   #表示与服务端IP同步时间
#启动并自启chrony服务
systemctl restart chronyd.service
systemctl enable chronyd.service
#查看是否成功
chronyc sources -v

chronyc sources
S 此列指示源的状态：
* 表示chronyd当前同步到的源。
+ 表示可接受的信号源，与选定的信号源组合在一起。
- 表示被合并算法排除的可接受源。
? 指示已失去连接性或其数据包未通过所有测试的源。它也显示在启动时，直到从中至少收集了3个样本为止。
x 表示chronyd认为是虚假行情的时钟（即，其时间与大多数其他来源不一致）。
~ 表示时间似乎具有太多可变性的来源。

6.JDK配置

rpm -qa |grep java
yum list java*
yum -y install java-1.8.0-openjdk
java -version

7.Mysql驱动

#上传mysql-connector-java-5.1.49.tar.gz到/opt
tar -xvzf /opt/mysql-connector-java-5.1.49.tar.gz -C /opt
cp /opt/mysql-connector-java-5.1.49/mysql-connector-java-5.1.49-bin.jar /usr/share/java/mysql-connector-java.jar
#复制到其他机器
scp /usr/share/java/mysql-connector-java.jar root@node2:/usr/share/java/

8.数据库配置

CDH所需的数据库:
在这里插入图片描述

CREATE DATABASE dmp_scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE dmp_amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE dmp_rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE dmp_hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE dmp_metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE dmp_sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE dmp_nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE dmp_navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE dmp_oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
# 新建scm用户
CREATE USER 'scm'@'%' IDENTIFIED BY '123456';
grant all privileges on *.* to 'scm'@'%' IDENTIFIED by '123456' with grant option;
# 新建hive用户
CREATE USER 'hive'@'%' IDENTIFIED BY '123456';
grant all privileges on dmp_metastore.* to 'hive'@'%' IDENTIFIED by '123456' with grant option;

flush privileges;

9.安装集群问题修改

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。

#临时修改
sysctl vm.swappiness=1
cat /proc/sys/vm/swappiness
#永久修改(如果要让刚写入的立即也生效可以执行以下 sysctl -p)
echo 'vm.swappiness=1'>> /etc/sysctl.conf
sysctl -p

已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。

#临时生效
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#永久生效
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local

四.安装 Cloudera Manager

#上传文件到/opt,只有主节点需要server包
#cloudera-manager-server-6.3.1-1466458.el7.x86_64
#cloudera-manager-agent-6.3.1-1466458.el7.x86_64
#cloudera-manager-daemons-6.3.1-1466458.el7.x86_64

1.主节点安装cloudera manager server

yum -y localinstall cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-server
# 查看安装是否成功
rpm -qa | grep cloudera-manager

#初始化数据库脚本,直接运行scm_prepare_database.sh查看语法
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm 123456 -h 10.0.70.32 -P 3306
cat /etc/cloudera-scm-server/db.properties

#将CDH parcel包上传到/opt/cloudera/parcel-repo(或者配置Apache HTTP Server服务来存放Parcel文件)
#server和agent都上传加快集群安装进度
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
chown cloudera-scm:cloudera-scm CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

#启动CM Server
systemctl start cloudera-scm-server
# 查看状态
systemctl status cloudera-scm-server
#查看启动日志
tail -100f /var/log/cloudera-scm-server/cloudera-scm-server.log

2.从节点安装cloudera manager agent

yum -y localinstall cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent
#所有Slave节点修改CM Server地址
vi /etc/cloudera-scm-agent/config.ini
server_host=node1
#启动Agent
systemctl start cloudera-scm-agent
#查看agent状态
systemctl status cloudera-scm-agent
#查看日志
tail -100f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

3.登录CM

http://node1:7180
用户名密码 admin

在这里插入图片描述

五.集群安装

1.欢迎

在这里插入图片描述

2.Cluster Basics

在这里插入图片描述

3.Specify Hosts

在这里插入图片描述

4.选择存储库

在这里插入图片描述

5. Install Parcels

在这里插入图片描述

6. Inspect Cluster

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.安装组件

自定义角色分配
在这里插入图片描述

数据库设置
在这里插入图片描述
修改配置
在这里插入图片描述
等待运行命令安装
在这里插入图片描述

六问题

1.kafka支持IP连接

kafka advertised.host.name 配置IP
在这里插入图片描述

飞鱼丶灬
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
CDH6.3.0 rpm安装包大全 离线下载地址
05-02
cdh6\6.3.0\redhat7\yum\RPMS\noarch cdh6\6.3.0\redhat7\yum\RPMS\x86_64 2个目录 包含hadoop hive hbase bigtop impala spark kudu zookeeper sqoop flume 等等全系列安装rpm包 cdh6\6.3.0\parcels 包含cloudera rpm包
CDH6.3.1企业版安装详细步骤
java程序员的蜕变之路
12-03 864
0. 主机规划 虚拟机主机 IP 资源(CPU/内存/硬盘) 所在ESXi(IP) Tools 192.168.1.30 04 Core/8 GB/10 TB 192.168.1.201 cdh-server01 192.168.1.31 32 Core/64 GB/3 TB 192.168.1.202 cdh-agent01 192.168.1.41 16 Core/32 GB/3 TB 192.168.1.203
Cloudera Manager6.3.1&CDH6.3.2集群部署（超详细，亲测可用）
矿泉水瓶子
01-11 1843
Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。
CentOS7 Cloudera Manager6 完全离线安装 CDH6 集群
weixin_42774642的博客
04-26 503
CentOS7 Cloudera Manager6 完全离线安装 CDH6 集群 本文是在CentOS7.4 下进行CDH6集群的完全离线部署。CDH5集群与CDH6集群的部署区别比较大。 说明：本文内容所有操作都是在root用户下进行的。 文件下载 首先一些安装CDH6集群的必须文件要先在外网环境先下载好。 Cloudera Manager 6.3.0 CM6 RPM：https:/...
Cloudera Manager----CDH集群离线部署(CDH6.3.1 + CDH6.3.2 + CentOS7)
weixin_42073629的博客
03-14 290
转载https://blog.csdn.net/qq_40856560/article/details/109007683
CDH6.3.1 企业级真正离线部署 (踩坑+总结)
涵sir的博客
10-14 2449
前言 大数据集群管理方式分为手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH）。手工部署，需配置太多参数，但是，好理解其原理，建议初学这样做，能学到很多。该方式啊，均得由用户执行，细节太多，切当设计多个组件时，用户须自己解决组件间版本兼容问题；工具部署，比如Ambari或Cloudera Manger。（当前两大最主流的集群管理工具，前者是Hortonworks公司，后者是Cloudera公司）使用工具来，可以说是一键操作，难点都在
Centos7部署CDH6.3.2集群.doc
最新发布
03-06
Centos7部署CDH6.3.2集群
CDH6.3.2+centos7完全离线下安装手册
09-12
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 manifest.json CentOS-7-x86_64-DVD-1611...离线安装CDH6.3.2.docx
centos 7.9服务器 离线 搭建svn服务器
10-02
centos 7.9服务器 离线 搭建svn服务器 ，该文章适用于 开发人员 实施人员 项目经理用于项目文档管理 代码管理，而不指定如何在centos7.9环境下离线搭建svn服务器，因为大多数的网站只是介绍yum install 的方式，但是...
centos7.9最小化系统 基础软件离线RPM包（gcc gcc-c++ make等等）
02-05
1.此离线安装包包括了：device-mapper-persistent-data lvm2 wget ...3.安装环境适用于centos7.9最小化系统
Centos7.9安装部署Zabbix6
06-21
Centos7.9安装部署Zabbix6，需要安装包的发邮箱，文件里面包含邮箱地址
Cloudera Manager 6.3.0离线部署
猫影
09-16 1300
基础知识 Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。CM 有免费版和企业版，免费版也可用于商用 而且基本够用了。安装后，基本面如下： 技术选型 尝试过ambari HDP 及自己...
离线安装CDH 6.3.2大数据平台(基于CentOS 7.9操作系统)
zhangbeizhen18的博客
10-31 2635
记录：303 场景：在CentOS 7.9操作系统上，离线安装CM6.3.1和CDH6.3.2大数据平台。主要内容：配置集群基础环境、安装MySQL数据库、配置本地yum源、配置NTP校时、安装CM和CDH基础依赖包、安装CM和CDH。
CentOS7 离线安装部署 Cloudera Manager 6.3.1
蜗牛的博客
03-13 6668
一、CDH简介 二、安装前环境的部署 1、配置静态IP https://blog.csdn.net/u011374856/article/details/103602232 2、配置主机名跟IP地址映射 https://blog.csdn.net/u011374856/article/details/103310847 3、ssh免密码登录 https://blog.csdn....
ClouderaManager6.3 集群版搭建
wsq_strive的博客
03-20 1081
1、系统环境 IP 主机名 核心数 内存 系统 M/S 172.18.216.68 cdh-01 4核 16G Centos7.5 M 172.18.216.69 cdh-02 4核 16G Centos7.5 S 172.18.216.70 cdh-03 4核 16G ...
HADOOP集群时间同步配置
Jackson_Father的博客
01-13 896
集群时间同不，如果联网就不建议同步
CDH6.3.1集群企业真正离线部署
夙梦-小白的博客
04-23 807
⼀.准备⼯作 1.离线部署主要分为三块: a.MySQL离线部署 b.CM离线部署 c.Parcel⽂件离线源部署 2.规划: 节点 MySQL部署组件 Parcel⽂件离线源 CM服务进程 ⼤数据组件 master01 MySQL Parcel Activity Monitor NN RM DN NM node01 Alert Publisher Event Serve...
cdh 6.3.2 离线部署
李晓蒙的博客
06-27 503
cdh 6.3.2 离线部署
Cloudera CDH 6.3.3 三节点集群部署
UsamaBinLaden6976498的专栏
05-28 1413
Cloudera CDH集群的部署实际上主要是Cloudera Manager的部署，在说的直白点儿那就是Cloudera Manager Server和本地YUM源的部署与搭建。 Cloudera CDH和Manager 6.3.3 及以后版本升级需要有效的cloudera enterprise或者cdp数据中心授权，这意味着Cloudera CDH和Manager免费社区版本将会停留在6.3.2版，一直以资金不足薅Cloudera羊毛的广大中小型企业要么强制自己的Hadoop生态应用兼容于CDH 6.
centos 7.9 pcre-devel 离线包
09-02
CentOS 7.9 pcre-devel离线包可以通过以下步骤进行获取和安装。 首先，你需要先下载CentOS 7.9的pcre-devel离线包。你可以在CentOS的官方网站上找到它。找到最新的CentOS 7.9版本的离线包并下载到你的计算机上。 下载完成后，将离线包移动到你想要安装的目录下。然后，你需要打开终端，并使用cd命令切换到该目录。 在终端中，输入以下命令以解压离线包： tar -zxvf 离线包文件名.tar.gz 解压后，你将会得到一个文件夹。使用cd命令进入这个文件夹，并找到其中的README或INSTALL文件。这些文件会提供进一步的安装说明和步骤。 按照说明和步骤进行安装。通常，你需要使用以下命令进行编译和安装： ./configure make make install 等待安装过程完成。一旦安装完成，你可以通过输入以下命令来验证pcre-devel包是否成功安装： pcre-config --version 如果正确安装，并显示正确的版本号，那么你的CentOS 7.9 pcre-devel离线包就已经成功安装了。 希望以上解答能够帮助到你完成CentOS 7.9 pcre-devel离线包的安装。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值