CDH6.3.1搭建

最新推荐文章于 2023-06-29 17:17:05 发布
最新推荐文章于 2023-06-29 17:17:05 发布
阅读量308 收藏
点赞数
分类专栏： cdh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42790479/article/details/112547420
版权

CDH6.3.1搭建

一.搭建规划

ClouderaServerClouderaAgent
hadoop01hadoop01
hadoop02

二.搭建准备

1.设置主机名
#查看主机名称
hostname

#永久修改主机名（重启生效）
hostnamectl set-hostname hadoop01
2.设置主机映射名（所有节点）
#编辑/etc/hosts文件
vim /etc/hosts

#加入主机映射名，保存退出
192.168.56.101  hadoop01
192.168.56.102  hadoop02

在这里插入图片描述

3.安装JDK1.8（所有节点）
#编辑/etc/profile，设置java环境变量
export JAVA_HOME=/opt/jdk8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#刷新配置文件
source /etc/profile
4.统一时间（所有节点）
#在所有节点上安装ntpdate服务
yum install ntpdate

#所有节点启动ntpdate服务并设置开机自启
systemctl start ntpdate
systemctl enable ntpdate

在所有节点上统一时间：

ntpdate time.windows.com
5.关闭防火墙（所有节点）
#所有节点关闭防火墙
systemctl stop firewalld

#所有节点关闭自启
systemctl disable firewalld

#查看防火墙状态
systemctl status firewalld

在这里插入图片描述

6.配置hadoop用户sudoer权限（所有节点）

所有节点添加hadoop用户并设置密码：

useradd hadoop
passwd hadoop

在这里插入图片描述

#所有修改权限配置文件
vi /etc/sudoers

#在“root ALL=(ALL)  ALL”下面添加
hadoop  ALL=(ALL)       ALL

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0zoKPPYX-1610456506463)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110164342573.png)]

7.关闭Selinux（所有节点）

修改/etc/selinux/config 配置文件中的 SELINUX=disabled

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ObatVfim-1610456506465)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110174039977.png)]

8.配置免密登陆（所有节点）

以root用户为例生成公钥，连按回车即可：

ssh-keygen -t rsa

建立 hadoop01 到 hadoop02 的免密登录：

ssh-copy-id hadoop02

建立 hadoop01 到 hadoop01 的免密登录：

ssh-copy-id hadoop01

在hadoop01节点上为hadoop01、hadoop02配置免密登陆。

在hadoop02节点上为hadoop01、hadoop02配置免密登陆。

9.设置用户最大能打开文件数目、进程数和内存（所有节点）

查看最大打开文件数显示：

ulimit -a

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-V3OSAQSR-1610456506467)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110175306102.png)]

vim /etc/security/limits.conf

#在最后插入配置
* soft nofile 32728
* hard nofile 1029345
* soft nproc 65536
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-il95nEFr-1610456506469)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110180657962.png)]

10.禁用IPV6（在root用户下执行）
#所有主机上执行
echo " " >> /etc/modprobe.d/dist.conf
echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
11.解决透明大页面问题
#所有主机上查询；[always] never表示已启用，always [never]表示已禁用
cat /sys/kernel/mm/transparent_hugepage/defrag
输出结果：[always] madvise never

#所有主机上执行关闭透明大页
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#再次执行
cat /sys/kernel/mm/transparent_hugepage/defrag
输出结果：always madvise [never]
12.避免服务器使用swap功能而影响服务器性能
#所有主机上执行
#Linux内核参数vm.swappiness，值的范围为0~100，表示系统什么时候开始进行物理内存与虚拟内存的交换
cat /proc/sys/vm/swappiness
输出结果：30

#临时修改swappiness（重启后恢复）
echo 0 > /proc/sys/vm/swappiness

#永久修改swappiness
echo "vm.swappiness=0" >> /etc/sysctl.conf
13.创建/usr/share/java目录，将mysql-jdbc包放过去（所有节点）
#创建目录
mkdir -p /usr/share/java

将mysql驱动包发到该目录下，同时mysql-connector-java-5.1.34.jar 一定要命名为mysql-connector-java.jar。

三.搭建ClouderaManager

1.下载地址

#Cloudera Manager下载地址
https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/
#CDH 下载地址
https://archive.cloudera.com/cdh6/6.3.2/parcels/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rhHCypsK-1610456506471)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110203128726.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fhbiyNp3-1610456506472)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110203339733.png)]

#创建 /opt/cloudera-manager 目录；存放 cdh的安装文件
mkdir /opt/cloudera-manager

2.安装 cloudera-manager-daemons（每个节点）

cd /opt/cloudera-manager/
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ECcAd2Gw-1610456506473)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110210002292.png)]

安装完之后，会在 /opt 下生成目录cloudera目录：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e00FFSBy-1610456506474)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110210139619.png)]

3.安装 cloudera-manager-agent（所有节点）

（1）安装cloudera-manager-agent
cd /opt/cloudera-manager/
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KJX5YGaD-1610456506475)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110211917023.png)]

执行报错，缺少依赖。用yum安装缺少的依赖：

yum install -y bind-utils
yum install -y psmisc
yum install -y libxslt
yum install -y cyrus-sasl-plain
yum install -y cyrus-sasl-gssapi
yum install -y fuse
yum install -y portmap
yum install -y fuse-libs
yum install -y httpd
yum install -y mod_ssl
yum install -y openssl-devel

如果依然报错则强制安装：

#--nodeps：安装时不检查依赖关系 --force：强制安装
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T1AI4GVS-1610456506476)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110212735082.png)]

（2）检查生成cloudera-scm-agent目录

安装完成 cloudera-manager-agent 后会生成 /etc/cloudera-scm-agent 目录：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aRjJ2ETA-1610456506476)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110213504070.png)]

（3）配置agent的server节点
vim /etc/cloudera-scm-agent/config.ini 

#server_host=localhost 改成server_host=cloudera-scm-server主机名

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gP4nqywg-1610456506477)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110214135680.png)]

#/opt/jdk8 是java的安装路径
sudo JAVA_HOME=/opt/jdk8 /opt/cloudera/cm-agent/bin/certmanager setup --configure-services

4.安装 cloudera-manager-server（hadoop01）

cd /opt/cloudera-manager
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F1uECaGC-1610456506478)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110214742266.png)]

主节点安装server，所有节点安装agent。安装完成检查配置目录是否存在：

server：/etc/cloudera-scm-server

agent：/etc/cloudera-scm-agent

查看 /opt/cloudera 目录：parcel-repo目录是存放CDH6.3.2的路径。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-exG43GYs-1610456506479)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110215839670.png)]

5.server节点上配置 MySQL 数据库

建立数据库：

-- grant all on 库名.表名 to '用户名'@'IP地址' identified by '密码';
set global validate_password_policy=LOW;
set global validate_password_length=3;

create database cmf default character set = 'utf8';
grant all on cmf.* to 'cmf'@'%' identified by '123456';

create database amon default character set = 'utf8';
grant all on amon.* to 'amon'@'%' identified by '123456'; 
 
create database hue default character set = 'utf8';
grant all on hue.* to 'hue'@'%' identified by '123456';
 
create database oozie default character set = 'utf8';
grant all on oozie.* to 'oozie'@'%' identified by '123456';

配置数据库连接：

cd /etc/cloudera-scm-server

#备份数据库配置
cp db.properties db.properties.bak

#修改数据库配置
vim /etc/cloudera-scm-server/db.properties

#指定数据库类型为mysql
com.cloudera.cmf.db.type=mysql
#指定数据库的地址以及端口号
com.cloudera.cmf.db.host=dbserver
#指定CM数据库的名称
com.cloudera.cmf.db.name=cmf
#指定CM用户的用户名
com.cloudera.cmf.db.user=cmf
#指定CM用户的密码
com.cloudera.cmf.db.password=123456
#指定数据库使用为外部数据库
com.cloudera.cmf.db.setupType=EXTERNAL

6.启动cloudera

启动 server：

#启动 server
systemctl status cloudera-scm-server
#查看状态
systemctl status cloudera-scm-server
#查看日志
tail -F /var/log/cloudera-scm-server/cloudera-scm-server.log

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KE2XRTix-1610456506480)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231050566.png)]

启动 agent：

#启动 agent
systemctl start cloudera-scm-agent
#查看状态
systemctl status cloudera-scm-agent

四.搭建ClouderaManager

1.登陆cdh安装界面

浏览器访问 http://hadoop01:7180，进入cdh登录界面，默认账户密码 admin admin

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lTvu0IY6-1610456506481)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231421461.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8YGJynis-1610456506482)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231454749.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fAKCdWDa-1610456506483)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110235829300.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3B0HUkAg-1610456506484)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231609766.png)]

2.群集安装

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XOsYv6sg-1610456506485)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231753734.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mIj4M8xe-1610456506486)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110235958354.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DjGrjSoa-1610456506487)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110235914875.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zdjpCn1b-1610456506488)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210111000422053.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5mownKpx-1610456506489)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210111002235106.png)]

[外链图片转存中…(img-lTvu0IY6-1610456506481)]

[外链图片转存中…(img-8YGJynis-1610456506482)]

[外链图片转存中…(img-fAKCdWDa-1610456506483)]

[外链图片转存中…(img-3B0HUkAg-1610456506484)]

2.群集安装

[外链图片转存中…(img-XOsYv6sg-1610456506485)]

[外链图片转存中…(img-mIj4M8xe-1610456506486)]

[外链图片转存中…(img-DjGrjSoa-1610456506487)]

[外链图片转存中…(img-zdjpCn1b-1610456506488)]

[外链图片转存中…(img-5mownKpx-1610456506489)]

迷你加菲
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
微信小程序开发工具第一次使用，网络连接不上怎么办
weixin_54048131的博客
03-31 4656
安装成功之后，爆出了一个bug,二维码始终出不来。 (C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1648698929020.png)] 解决方法如下： 第一步打开360安全卫士或者安全管家，—》功能大全—是》我的工具—》系统急救箱 修复完系统之后，再点击小程序开发工具，360又可能会弹出一个框，让选家庭网络和公共网络，此时一定要选择家庭网络，之前没选的时候开发工具就没有运行成功。 设置完之后就可以运行了。 ...
CDH6.3.1安装
Allenzyg的博客
05-28 5623
CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件： 1. 内存要足够大 我的电脑内存是8G： 使用虚拟机安装 Cloudare server：4G Cloudare agent：分别为1G 电脑最后很卡，而且内存98%。 官方推荐最小内存为10G，所以最好还是听从官方的建...
CDH6.3.1 集群离线部署（若泽大数据）
浅汐入梦的博客
05-09 1819
参考了很多文章，中间报了很多错，一步一坑...... 视频链接：https://www.bilibili.com/video/BV1YE41117xM?spm_id_from=333.337.search-card.all.click
CDH6.3.1 平台搭建
何以问_的博客
08-12 1092
自测–CDH6.3.1 搭建 (2核16G阿里云环境) 1.准备工作 1.1部署方式 本次测试采用离线部署的方式 : 主要分为三块 : Cloudera-Manager离线部署 MySQL离线部署 Parcel文件离线源部署 1.2集群规划 节点 MySQL部署组件 Parcel⽂文件离线源 CM服务进程 大数据组件 hadoop001 MySQL Parcel Activity Monitor NN RM DN NM hadoop002 Alert Publisher Eve
cdh6.3.1离线完整版（百度网盘下载）
08-04
CDH安装包
Hadoop环境搭建
美国梦中国心
06-29 6284
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
CDH6.3.1搭建资料.pdf
08-03
CDH安装资料
CDH6.3.1详细安装教程及安装包(包括视频教程)
05-31
CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 cm6.3.1-redhat7.tar.gz jdk-8u181-linux-x64.tar.gz mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz mysql-connector-...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
CDH和datax-web离线安装文档.docx
07-25
CDH6.2.0、datax-web2.1.2 离线安装文档，从本地yum源配置到数据库安装以及cdh和datax-web的安装，亲测非常详细
CDH6.3安装指南.pdf
09-11
最详细的CDH6.3安装指南，可以一步步按照文档进行安装，并且整理了安装介质（通过百度网盘下载）。
Hadoop2.x软件环境.txt
07-12
Hadoop2.x环境所需软件集合，包含虚拟机、CentOS7镜像、JDK8(Linux)、Zookeeper、Hadoop2.6.5。以上软件都基于64位操作系统，下载地址为百度云。
Cloudera Manager6.3.1&CDH6.3.2集群部署（超详细，亲测可用）
矿泉水瓶子
01-11 1853
Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。
Centos7.7安装配置CDH-6.3.1(附全部安装包)
一点浩然气
08-02 1183
1.1原生Hadoop的问题 版本管理过于混乱 部署过程较为繁琐,升级难度较大 兼容性差 安全性低 cdh在国内用的比较多。不管是cloudera+cdh或者是ambari+hdp，建议初学者不要用，还是从原生的开始。网上说原生的不稳定，配置复杂。我用的hadoop2.7.7稳定，以及以hadoop2.7.7为基础构建的生态圈很稳定，在线率100%，到目前为止还没有出现过突发故障。以hadoop为基础构建一套生态圈，是很复杂。但是拆分开了，采取蚂蚁搬家的方式，就简单多了。并且能了解各组件间是怎么协同工作的。
Cloudera Manager6.3.1+CDH6.3.2本地仓库方式搭建（超详细版）
weixin_39338423的博客
09-04 7077
CDH搭建 准备工作 CDH版本：6.3.1 hadoop版本：3.1.1 hbase版本：2.2.2 安装前须知： CDH6.3官方文档 CDH6操作系统版本对应官方文档 CDH6数据库版本对应官方文档 CDH6 JDK版本对应官方文档 略过环节：安装JDK 基础环境准备 所有服务器都关闭防火墙 查看防火墙状态 -> firewall-cmd --state 关闭防火墙 -> systemctl stop firewalld.service 所有服务器都关闭selinux ->
hadoop完全分布式搭建于常见问题解析
qq_43206800的博客
07-12 1103
1. Hadoop如何识别是Linux路径还是HDFS路径 就是基于 core-site.xml中的fs.defaultFS的配置. <property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:9820</value> </property> 1.1 Hadoop的fs.defaultFs的默认配置是: file:/
Hadoop完全分布式集群搭建
Child2的博客
02-20 251
1. 克隆虚拟机 母机信息: ** 为了描述的过程能尽可能通俗易懂, 笔者将集群节点暂且命名为: slave1,slave2.slave3 ** linux版本: CentOs6.8 jdk版本: jdk1.8.0_144 hadoop版本: hadoop2.7.2 虚拟机母机Master配置: ① 防火墙关闭 ② 设置静态ip 注: 如何设置静态ip及如...
Cloudera Manager----CDH集群离线部署(CDH6.3.1 + CDH6.3.2 + CentOS7)
weixin_42073629的博客
03-14 291
转载https://blog.csdn.net/qq_40856560/article/details/109007683
cdh6.3.1parcel
最新发布
12-04
CDH 6.3.1 Parcel是支持Cloudera大数据平台的一种软件安装和部署方式。Parcel是一种二进制软件包的格式，用于在CDH集群中分发和安装各种组件和服务。CDH 6.3.1 Parcel即表示适用于CDH版本6.3.1的Parcel软件包。 CDH...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值