CDH搭建大数据平台（6.3.2）超详细，总结

最新推荐文章于 2024-05-23 17:22:29 发布
最新推荐文章于 2024-05-23 17:22:29 发布
阅读量3.4k 收藏 30
点赞数 22
分类专栏： CDH 文章标签： 大数据 网络 运维 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NUT_0/article/details/129337729
版权

文章目录

Vbox

  1. 安装时要放在英文路径的非根目录

  2. 网络驱动中第一个网卡为net模式（相当于路由器）网卡二一定要host-only, 不能改ip

创建、导出（ova）、导入（ova）、注册（vbox虚拟机路径）、复制

C:\Users\Administrator.VirtualBox

\HostInterfaceNetworking-VirtualBox Host-Only Ethernet Adapter-Dhcpd.config 修改vmbox配置文件

在这里插入图片描述

CDH安装

1 网络工具

所有节点，net-tools、wget、epel-release

yum install wget 发送网络请求 下载包

yum install epel-release

yum install net-tools

yum install httpd

2 Hosts

echo cdh2 > /etc/hostname 修改主机名

修改hosts映射（所有节点更改）

shell脚本批量打印
for i in {1..3};do echo -e 192.168.56.10$i\\tcdh$i; done

scp /root/new_ips.txt  root@192.168.56.102:/root
 scp  本地文件  远程用户：/目录

远程批量导入文本的文件
ssh root@cdh3 "cat new_ips.txt >> /etc/hosts"

3 ssh

主节点ssh通所有节点、所有节点都要进行ssh-keygen

[root@cdh1 ~]# ssh-keygen

[root@cdh1 ~]# ssh-copy-id cdh1

.ssh/id_rsa 私钥路径

.ssh/id_rsa.pub 公钥路径

在这里插入图片描述

#已知的主机公钥信息
[root@cdh1 ~]# cat .ssh/known_hosts 
cdh2,192.168.56.102 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBGLnTWo8lyeLW4v+IseGTWYAEOzQf8eoa1ZwFC8j09ZdQBKCOfTM132hXgFemtE/Mg3DYXdTtm1BpZ8dX9FxmiE=
cdh1,192.168.56.101 ecdsa-sha2-nistp256 
AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBGLnTWo8lyeLW4v+IseGTWYAEOzQf8eoa1ZwFC8j09ZdQBKCOfTM132hXgFemtE/Mg3DYXdTtm1BpZ8dX9FxmiE=
cdh3,192.168.56.103 ecdsa-sha2-nistp256 AAAAE2VjZHNhLXNoYTItbmlzdHAyNTYAAAAIbmlzdHAyNTYAAABBBGLnTWo8lyeLW4v+IseGTWYAEOzQf8eoa1ZwFC8j09ZdQBKCOfTM132hXgFemtE/Mg3DYXdTtm1BpZ8dX9FxmiE=

4 Chrony

主节点做服务，子节点用主节点做服务器

https://chrony.tuxfamily.org/ 
sudo yum install chrony
/etc/chrony.conf

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

cdh1
    1打开配置文件
    vi /etc/chrony.conf 

    2注释
    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst

    3添加
    server ntp.aliyun.com iburst

    4运行所有
    allow all
cdh2,3
	1打开配置文件
    vi /etc/chrony.conf 

    2注释
    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst
    server 192.168.56.101 iburst  #cdh1的ip
    
    全部重启服务
    systemctl restart chronyd
    显示当前时间源的同步信息
    chronyc sources

4 防火墙（所有节点都关闭）

1过滤性防火墙2应用代理类型防火墙3复合型

启动: systemctl start firewalld.service
重启: systemctl restart firewalld.service
设置开机启动: systemctl enable firewalld.service
关闭开机启动: systemctl disable firewalld.service
systemctl stop firewalld
systemctl status firewalld
systemctl disable firewalld

firewall-cmd --panic-on# 拒绝所有包
firewall-cmd --panic-off#取消拒绝状态
firewall-cmd --query-panic #查看是否拒绝
firewall-cmd --reload #更新防火墙规则
fircwall-cmd --complete-rcload#重启服务
firewall-cmd --get-zone-of-interface=eth0#查看指定接口所属区域

5安装httpd

yum install createrepo httpd -y 
systemctl start httpd 
systemctl enable httpd
 cd /var/www/html/
 mkdir cdh_local_repo
 mkdir parcels

6安装createrepo

yum install createrepo

7selinux所有节点都要关闭

vi /etc/selinux/config
SELINUX=disabled

setenforce 0

getenforce

在这里插入图片描述

8透明大页面

所有节点 defrag/enable false

透明巨页会导致异常节点重启和性能问题
cd /sys/kernel/mm/transparent_hugepage/
echo never > enabled
echo never > defrag 

vi /etc/rc.d/rc.local
    echo never > /sys/kernel/mm/transparent_hugepage/enabled 
    echo never > /sys/kernel/mm/transparent_hugepage/defrag
chmod +x /etc/rc.d/rc.local

结果 cat enabled [nerver]

9Swappiness

所有节点 设置0

调优系统swappiness参数

设置vm.swappiness=0不会阻止VM交换。
vm.swappiness参数只是控制VM交换行为的积极性;它不会禁用VM的交换。

echo vm.swappiness=0 >> /etc/sysctl.conf

sysctl -p

在这里插入图片描述

10配置本地yum源文件(所有节点)

mkdir cdh_local_repo（/var/www/html）
cd /etc/yum.repos.d/
cp CentOS-Base.repo CentOS-Local.repo
vi CentOS-Local.repo
	[base]
	name=CentOS-Local
    baseurl=http://cdh1/cdh_local_repo
    enabled=1
    gpgcheck=0
    
 复制到cdh2，3
 cd /etc/yum.repos.d/
 scp CentOS-Local.repo cdh2:/etc/yum.repos.d/CentOS-Local.repo

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

11部署本地yum源服务

mv cm6.3.1 /var/www/html/cdh_local_repo 
mv cdh6.3.2 /var/www/html/parcels 
mv jdk-8u291-linux-x64.rpm /var/www/html/cdh_local_repo

先清除缓存 再创建

 yum clean all 
 createrepo /var/www/html/cdh_local_repo/
 yum repolist

12.mysql安装

主节点

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm 

rpm -ivh mysql-community-release-el7-5.noarch.rpm

yum -y install mysql-server

systemctl start mysqld
systemctl enable mysqld

13. jdbc/jdk

安装jdk（所有节点）

 yum install jdk

安装jdbc（主节点）

mkdir -p /usr/share/java

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz 

tar -xvf mysql-connector-java-5.1.46.tar.gz 

cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

14mysql授权

mysql -uroot -p

grant all privileges on *.* to root@'cdh1' identified by "cqie" with grant option;
flush privileges;
grant all privileges on *.* to root@'localhost' identified by "cqie" with grant option;
flush privileges;
grant all privileges on *.* to root@'%' identified by "cqie" with grant option;
flush privileges;

15 授权用户

groupadd supergroup 
usermod -a -G supergroup root

16创建数据库

create database scm default character set utf8;
create database metastore default character set utf8;
create database hue default character set utf8;
flush privileges;

grant all privileges on . to root@‘cdh’ idfentified by “cqie”

flush privileges; //刷新MySQL的系统权限相关表
GRANT:赋权命令
ALL PRIVILEGES:当前用户的所有权限
ON:介词
*.*:当前用户对所有数据库和表的相应操作权限
TO:介词
'root'@'%':权限赋给root用户，所有ip都能连接
IDENTIFIED BY ‘123456':连接时输入密码，密码为cqie
WITH GRANT OPTION:允许级联赋权

17安装Clouderamanager

主节点安装server ,所有节点安装agent

安装cloudera  
cdh1安装
yum install cloudera-manager-server -y
yum install cloudera-manager-agent -y
yum install cloudera-manager-daemons -y
所有节点安装
yum install cloudera-manager-agent -y
yum install cloudera-manager-daemons -y

18clouderamanager连接mysql

配置cloudera  在全部节点修改agent配置文件
vi /etc/cloudera-scm-agent/config.ini
server_host=cdh1

cloudera连接mysql
/opt/cloudera/cm/schema/scm_prepare_database.sh	mysql scm root cqie

19启动clouderamanager

启动cloudera服务
systemctl start cloudera-scm-server 
systemctl start cloudera-scm-agent

20网页配置

版本选择Select Edition/cloudera express

Specify Hosts/当前管理的主机

选择存储库/使用parcel更多选项/远程 Parcel 存储库 URL/填写本地Parcel服务路径

http://cdh1/parcels/

Inspect Cluster/直接选择I understand the risks, let me continue with cluster setup.

DataNode，zookeeper所有主机

在这里插入图片描述

在这里插入图片描述

审核更改/HDFS 块大小:64/除hive以外的所有路径前加/opt

21 总结

遇到的问题很多，都在老师和网上查询逐一解决了。

1

首先在vmbox安装的时候因为自己提前安装了节点，导致配置节点ip不是从101开始

解决办法：通过修改vmbox配置文件 重置vmbox

2

修改主机名和hosts映射 之前一直用系统命令修改主机名学会了用echo 和 shell脚本快速批量写入

hostnamectl set-hostname 主机名
echo cdh2 > /etc/hostname 修改主机名
for i in {1..3};do echo -e 192.168.56.10$i\\tcdh$i; done

3

更加熟练Linux命令，增加权限，修改配置文件等 。

4

在配置本地yum源文件的时候一直不生效 写了name=CentOS-Local 源里面还是没有。

解决办法：因为前面的[base]名字冲突导致的 把base改为base_local

5

最后CDH上HDFS没有跑起来，提示说java啥的

解决办法：是因为只在主节点安装了jdk，需要所有节点安装

6

clouderamanager界面没有显示三台主机

解决办法：systemctl start cloudera-scm-agent其他几个节点要全部启动

和hosts映射 之前一直用系统命令修改主机名学会了用echo 和 shell脚本快速批量写入

hostnamectl set-hostname 主机名
echo cdh2 > /etc/hostname 修改主机名
for i in {1..3};do echo -e 192.168.56.10$i\\tcdh$i; done

3

更加熟练Linux命令，增加权限，修改配置文件等 。

4

在配置本地yum源文件的时候一直不生效 写了name=CentOS-Local 源里面还是没有。

解决办法：因为前面的[base]名字冲突导致的 把base改为base_local

5

最后CDH上HDFS没有跑起来，提示说java啥的

解决办法：是因为只在主节点安装了jdk，需要所有节点安装

6

clouderamanager界面没有显示三台主机

解决办法：systemctl start cloudera-scm-agent其他几个节点要全部启动

NUT_0
关注
  • 22
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
(超详细)安装CDH6.3.2和Cloud Manager
lmh1181243468的博客
04-21 1091
由于公司目前所用的自动化管理工具使用的是CDH的收费版本，为了刚好对cdh这类软件运维工具有深刻理解，所以自己搭建了一套基于免费开源CDH 6.3.2版本的集群；Cloudera版本（，简称CDH），基于Web的用户界面,支持大多数Hadoop组件，包括HDFSMapReduceHivePigHBaseZookeeperSqoop，简化了大数据平台的安装、使用简单。管理：对集群进行管理，如添加、删除节点等操作。监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。
大数据平台 CDH6.2.1 搭建
qq_36306519的博客
04-26 1774
大数据平台 CDH6.2.1 搭建
CDH 6.3.2安装部署（超详细）
2201_75470972的博客
05-23 2242
超级详细的cdh6.3.2安装部署教程
0593-CDH5与CDH6对比
Hadoop_SC的博客
11-08 3582
1 文档编写目的 Cloudera于2018年8月30日正式发布CDH6.0.0，至2019年2月19日，最新的迭代版本为CDH6.1.1，可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于C6，而CDH5会慢慢的停止更新，所以考虑新搭集群使用CDH6，或者想把已有的CDH5集群升级到CDH6。第一个问题就...
CDH6.3.2离线安装教程——超级详细版-附带安装包地址
weixin_42578941的博客
05-04 7962
CDH6.3.2离线安装教程-附带安装包地址
CDH/CDP 是什么？
Shockang的博客
07-28 9686
CDH （ Cloudera Distribution Hadoop ）是 Cloudera 公司提供的包含 Apache Hadoop 及其相关项目的软件发行版本。CDP（Cloudera Data Platform）是 CDH 的继任者。CDP 是面向企业的云计算平台。
CDH6.x企业级大数据平台搭建
01-30
本课程主要讲解在实际项目开发中，企业构建大数据平台的方案及实战。详细阐述企业级大数据平台的架构设计、机器选型、集群规划、技术选型、资源规划等技术方案。实战演练基于Cloudera Manager(CDH6)安装部署、监控管理、运营维护大数据平台的各个服务组件。从理论经验到实战演练，从设计思想到流程实施，亲力亲测，你也绝对可以。推荐进阶课程：大数据运维尖刀班
企业级大数据平台CDH详细搭建过程
11-28
【企业级大数据平台CDH详细搭建过程】 CDH（Cloudera Distribution Including Apache Hadoop）是由Cloudera公司提供的一款企业级大数据处理平台，它包含了多个开源Apache项目的集成，如Hadoop、Hive、HBase、Spark...
Docker搭建大数据平台CDH
10-27
"Docker 搭建大数据平台 CDH" 本文档将指导您使用 Docker 搭建大数据平台 CDH，包括安装 Docker、导入镜像、启动容器、配置 HDFS 节点等步骤。 安装 Docker 在开始之前，需要先安装 Docker。在 CentOS 系统中，...
cloudera manager 安装cdh 搭建大数据集群，详细讲解核心
08-03
Cloudera Manager 安装 CDH 搭建大数据集群核心知识点 一、Cloudera Manager 安装方法 Cloudera Manager 安装 CDH 集群有多种方法，主要分为 Server 端和 Agent 端安装。 1. Server 端安装： * 使用 yum 安装 cm...
CDH大数据平台部署安装（详细）
最新发布
06-12
本手册非常适合初学者，按照步骤来绝对没毛病。后续有功能我会继续完善，也请各位多多指教。
CDH6.3.2完整安装包网盘下载地址
02-17
CDH6.3.2完整安装包网盘下载，包含以下内容： cdh离线安装教程；enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm；cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm；cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm；cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm；oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm；allkeys.asc；cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm；CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel；manifest.json；CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256；CDH-6.3.2-1.cdh6.3.2.p0.1605554-
securcrt（一款支持SSH(SSH1和SSH2)的终端仿真程序）
06-25
SecureCRT是一款支持SSH(SSH1和SSH2)的终端仿真程序,简单地说是Windows下登录UNIX或Linux服务器主机的软件。
CDH6.3安装指南.pdf
09-11
最详细的CDH6.3安装指南，可以一步步按照文档进行安装，并且整理了安装介质（通过百度网盘下载）。
cdh6.3.2 集成 Phoenix
02-08
在大数据处理领域，CDH（Cloudera Distribution Including Apache Hadoop）是一款广泛使用的开源大数据平台，它包含了Hadoop生态系统中的多个组件，如HDFS、YARN、MapReduce、Hive等。而Phoenix是一个针对HBase的SQL...
Hadoop - 企业级大数据管理平台CDH(介绍和准备工作)
文振熙 -- 云计算技术博客站
08-09 5817
哈喽大家好呀,仅经过了一段时间大数据相关的博文又和大家见面了,笔者之前有写过一套Hadoop大数据相关的博客,为什么今天又要开坑呢?当然是有原因,随着不断的学习了解,慢慢意识到之前做法存在很多缺陷,最终对比了比较成熟的解决方案EMR和CDH,最终选择了使用CDH来搭建大数据管理平台,那么我们就开始新的一趴,企业级大数据管理平台CDH的学习吧! 附上: 喵了个咪的博客:w-blog.cn ...
cdh是什么?
weixin_44943389的博客
06-26 2049
CDH 是一个大数据平台，旨在简化和加速大数据处理和分析的部署和管理。CDH 的目标是为企业提供一个稳定、可靠、易于使用的大数据平台，使用户能够更轻松地构建、管理和运行大规模的数据处理和分析应用。除了上述组件外，CDH 还包括其他一些重要的大数据工具和库，如 Apache Flume（用于数据采集）、Apache Kafka（用于实时数据流处理）、Apache Sqoop（用于数据导入和导出）等。Apache Spark：Spark 是一个快速的大数据处理和分析引擎，支持在内存中进行数据处理。
CDH6.3.2 详细介绍及使用
萌兔兔MMQ！！
08-15 547
权重定义了资源池之间分配资源的比例，目前集群中的default资源池和users资源池的权重各为1,那么集群中的资源会将50%分配给default，50%分配给users，但是这里的资源分配不是一个静态的概念，假如users中没有任务在运行，那么default资源池是允许使用超过50%的资源的，且资源池配置允许在线修改，修改后不需要重启yarn，因为RM会周期性的读取资源池的配置信息。例如，如果你启动一个服务， Agent 尝试启动相应的进程，如果这个进程启动失败，Server会标记这个失败的启动命令。..
CM&CDH大数据运维官方课程
08-12
 本课程主要讲解在实际项目开发中，企业构建大数据平台的方案及实战。详细阐述企业级大数据平台的架构设计、机器选型、集群规划、技术选型、资源规划等技术方案。实战演练基于Cloudera Manager安装部署、监控管理、运营维护大数据平台的各个服务组件。从理论经验到实战演练，从设计思想到流程实施。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值