大数据CDH安装详细教程

已于 2022-12-07 09:19:11 修改
阅读量1.8k 收藏 9
点赞数
文章标签： big data hadoop hdfs
于 2022-06-11 09:55:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43998265/article/details/125221471
版权

1.环境准备

1.1 服务器配置(理想配置)
在这里插入图片描述
1.2 修改主机名和hosts文件(所有节点)

[root@hadoop001 ~]# vim /etc/hosts
vim /etc/hostname

1.3 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

1.4 SSH免密登录(主节点)

ssh-keygen -t rsa
#分发到所有节点
ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03

1.5 关闭SELINUX(所有节点)

vi /etc/selinux/config
#修改
SELINUX=disabled

1.6 配置NTP时钟同步(所有节点)

yum -y install ntpdate
#设置定时同步
crontab -e
*/8 * * * * /sbin/ntpdate ntp1.aliyun.com;/sbin/hwclock -w  > /dev/null 2>&1

1.7 设置swap空间(所有节点)

echo "vm.swappiness = 0">>/etc/sysctl.conf
#立即生效
sysctl -p

1.8 关闭大页面压缩(所有节点)

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

1.9 安装jdk （所有节点）
固定目录目录/usr/java下。

1）创建/usr/java目录
2）用SecureCRT将jdk-8u144-linux-x64.tar.gz上传至hadoop01，并解压到/usr/java目录下。
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/java/
3）配置JAVA_HOME环境变量
（1）打开/etc/profile文件
vi /etc/profile
在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
（2）让修改后的文件生效
source /etc/profile
4）测试JDK是否安装成功
java -version

如果已经装过，注意版本，locate jps 查看路径
建立同步连接
ln -s /opt/jdk1.8.0_202 /usr/java/default
1.10 安装mysql(主节点)

1）下载msql5.7 yum源
wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm
2）安装yum源
rpm -ivh mysql57-community-release-el7-9.noarch.rpm
3）安装mysql
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
yum -y install mysql-server	
yum -y remove mysql57-community-release-el7-9.noarch
4）启动mysql
systemctl start mysqld.service
5）查看root用户密码
grep 'temporary password' /var/log/mysqld.log
set global validate_password_policy=0;
set global validate_password_length=4
6）执行mysql初始化脚本
mysql_secure_installation
7）输入新密码

在这里插入图片描述

8）配置root用户远程访问权限
mysql> grant all privileges on *.* to 'root' @'%' identified by '******.123456';

mysql> flush privileges;
9）安装mysql驱动
安装驱动包(所有节点)
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.27.tar.gz
放在 /usr/share/java   命名：mysql-connector-java.jar

1.11 下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

2.CM安装

2.1 集群规划
在这里插入图片描述
2.2 搭建本地yum源(主节点)

2.2.1安装 httpd
    yum install -y httpd
	systemctl start httpd
	systemctl enable httpd
2.2.2创建yum源（主节点）
文件放入对应目录
mkdir /var/www/html/{cm,cdh}
创建yum源
yum install -y createrepo
cd /var/www/html/cm
createrepo .

编辑配置文件
vi /etc/yum.repos.d/cm.repo

内容：
[cm]
name=cm
baseurl=http://hadoop01/cm/
enabled=1
gpgcheck=0

2.2.3下发到其他节点
scp /etc/yum.repos.d/cm.repo hadoop02:/etc/yum.repos.d/
scp /etc/yum.repos.d/cm.repo hadoop03:/etc/yum.repos.d/

2.3 安装CM

2.3.1安装CM server及agent
[root@hadoop01 ~]# yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
[root@hadoop02 ~]# yum install cloudera-manager-agent cloudera-manager-daemons
[root@hadoop03 ~]# yum install cloudera-manager-agent cloudera-manager-daemons
修改配置文件
vim /etc/cloudera-scm-agent/config.ini
修改所有 server_host=hadoop01

2.3.2创建各组件需要的数据库
mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

mysql> CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

mysql> CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

mysql> CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

mysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

mysql> CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
2）为CM配置数据库
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root 123456

3.启动CM服务

[root@hadoop01~]# systemctl start cloudera-scm-server cloudera-scm-agent

[root@hadoop02~]# systemctl start cloudera-scm-agent

[root@hadoop03~]# systemctl start cloudera-scm-agent

#查看状态
[root@hadoop01~]# systemctl status cloudera-scm-server
#查看异常信息
[root@hadoop01~]# journalctl -xe

访问http://hadoop01:7180，（用户名、密码：admin）

4.安装CDH

2.1 选择商业版本
1）欢迎页面
在这里插入图片描述
2）用户协议

在这里插入图片描述

3）选择免费版在这里插入图片描述
2.2 部署CDH集群

1）选定集群物理节点
在这里插入图片描述
2）添加本地parcel库
在这里插入图片描述
替换成自己httpd中CDH的地址
在这里插入图片描述

3）等待parcel的下载、分配、解压和激活
在这里插入图片描述

4）检查集群网络环境
在这里插入图片描述

5）选择要安装的CDH组件，选择自定义安装
在这里插入图片描述

6）选择需要安装的组件，如下
在这里插入图片描述

7）CDH各组件角色分布
在这里插入图片描述
在这里插入图片描述
8）数据库连接测试
在这里插入图片描述

9）各组件基本设置，使用默认即可

10）等待安装部署和启动

11）启动成功
**加粗样式**
12）CM-HUE-OOZIE时间统一和oozie资源
oozie.processing.timezone
在这里插入图片描述
在这里插入图片描述

13）在yarn配置项中搜索“yarn.nodemanager.resource.memory-mb”，修改成4G。
在这里插入图片描述

14）在yarn配置项中搜索“yarn.scheduler.maximum-allocation-mb”，修改成2G。
在这里插入图片描述

5.YARN性能调优

每个job提交到yarn执行的时候，都会分配container容器去运行，而这个容器需要资源才能运行，那这个资源就是cpu和内存，也就是每个任务container都需要CPU和内存。
5.1 CPU

1.yarn.nodemanager.resource.cpu-vcores
表示该节点服务器上yarn可以使用的虚拟CPU个数，默认是8，推荐将值配置与物理核心个数相同，如果节点CPU核心不足8个，要调小这个值，yarn不会智能的去检测物理核心数

2.yarn.scheduler.minimum-allocation-vcores
单个任务最小可申请的虚拟核心数，默认为1

3.yarn.scheduler.maximum-allocation-vcores
单个任务最大可申请的虚拟核心水，默认为4，如果申请资源时，超过这个配置，会抛出InvalidResourceRequestException

5.2 内存

服务器节点上会有若干的内存，一部分给yarn，一部分给hdfs，一部分给hbase；Member相关的配置如下：
1.yarn.nodemanager.resource.memory-mb
设置该节点上yarn可使用的内存，默认为8G，如果节点内存资源不足8G，要减少这个值，yarn不会智能的去检测内存资源，一般这个设置yarn的可用内存资源

2.yarn.scheduler.minimum-allocation-mb
单个任务最小申请物理内存量，默认1024MB，根据自己的业务设定

3.yarn.scheduler.maximum-allocation-mb
单个任务最大申请物理内存量，默认为8291MB

5.3 实际案例

安装服务器为16核,64G内存
yarn.nodemanager.resource.cpu-vcores 虚拟core
这个参数根据自己生产服务器决定，比如公司服务器很富裕，那就直接1:1，设置成16，如果公司服务器不是很富裕，那就直接成1:2,设置成32，我们生产设置的是32

yarn.nodemanager.resource.memory-mb 总内存
生产上我们一般要预留15-20%的内存，那么可用内存就是64*0.8=51.2G，我们设置成50G就可以了（固定经验值）

yarn.scheduler.minimum-allocation-mb 单任务最小内存
如果设置成2G，那50/2 = 25，就是最多可以跑25个container
如果设置成3G，那50/3 = 16，就是最多可以跑16个container

yarn.scheduler.minimum-allocation-vcores 单任务最少vcore
如果设置vcore = 1，那么32/1 = 32，就是最多可以跑32个container，如果设置成这个，根据上面内存分配的情况，最多只能跑25个container，vcore有点浪费
如果设置vcore = 2，那么32/2 = 16，就是最多可以跑16个container

yarn.scheduler.maximum-allocation-vcores 单任务最多vcore
一般就设置成4个，cloudera公司做过性能测试，如果cpu大于等于5之后，cpu利用率反而不是很好（固定经验值）

yarn.scheduler.maximum-allocation-mb 单任务最大内存
这个要根据自己公司业务设定，如果有大任务，需要5-6G内存，那就设置为8G

原文链接：https://blog.csdn.net/u010452388/article/details/98234147

污力阿祖
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
HADOOP集成组件CDH安装部署详细教程
01-04
在大数据处理领域，Hadoop是一...通过这个详细教程，你将能够掌握在Linux环境下CDH组件的安装和部署技巧，进一步提升你的大数据处理能力。记得在实践过程中不断学习和总结，以便更好地理解和驾驭这个强大的大数据平台。
CDH详细安装教程
07-31
【CDH详细安装教程】 CDH（Cloudera Hadoop）是由Cloudera公司提供的一个开源Hadoop生态集群软件，它包含了一系列大数据处理组件，如Hadoop、Spark等。Cloudera Manager（CM）是CDH的核心管理工具，提供了一个直观...
CDH6.x安装教程(附带整合kerberos)
qq_32068809的博客
02-02 5031
一、安装前准备 设置HOST vi /etc/hosts 关闭防火墙 sudo systemctl disable firewalld sudo systemctl stop firewalld 设置SELinux vi /etc/selinux/config 将SELINUX=enforcing 改为SELINUX=permissive，然后重启服务器，或者执行下面命令： setenforce 0 开启NTP服务 # 安装NTP服务.....
CDH的安装
老码农的心路历程
12-31 966
cdh的完整安装，需要安装包的私信我
CDH大数据平台部署安装（详细）
最新发布
m0_73800495的博客
06-12 1062
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
大数据之cdh集群安装
yaodunlin的博客
08-16 1468
安装cdh集群
安装CDH集群
weixin_35756690的博客
01-04 184
CDH(Cloudera Distribution for Hadoop)是一个由Cloudera公司发布的，包含了Apache Hadoop和很多其他开源软件的发行版。在安装CDH集群之前，你需要准备好若干台机器，每台机器上都需要安装操作系统(建议使用Linux)。 准备安装环境 确保所有机器已经安装了操作系统，并且可以通过SSH从远程终端登录。 在所有机器上安装Java 8或更高版本。C...
CDH安装步骤
nannan1232的专栏
07-26 778
1、CDH版本：5.11.1 2、OS：centos7.4 3、基本环境安装步骤，集群所有节点： a. 修改机器名：vim /etc/hostname master01 vim /etc/sysconfig/network HOSTNAME= master vim /etc/hosts ...
CDH6.3.2安装包及安装教程网盘下载地址.txt
04-10
安装教程中详细说明了安装过程中遇到的各种问题，并且整个过程不需要依赖外网，全部为离线安装。 网盘下载《CDH6.3.2安装包及安装教程网盘下载地址.txt》，包括： manifest.json CDH-6.3.2-1.cdh6.3.2.p0.1605554-...
CDH安装教程，教程一步到位
05-12
本教程将详细讲解如何一步步进行CDH的安装，确保您能够快速而顺利地搭建起大数据处理环境。 1. **系统准备**：首先，确保您的服务器系统为支持CDH的版本，通常为CentOS或Red Hat Enterprise Linux。安装必要的依赖...
CDH6.0.1安装教程V2.0(亲测).docx
12-13
CDH6.01详细安装教程，亲测安装成功。文档的具体内容包括：软件版本选择、基本环境安装、安装Cloudera Manager 和安装CDH。希望对大家有帮助！
CDH5简要安装教程
02-27
本文档描述CDH5的安装详细过程，包括服务器参数修改、配置、用户权限等方面介绍该产品的安装配置
cdh离线安装hadoop详解
04-04
cdh离线安装文档，安装hadoop yarn 等标准资源。配置cdh
HBase 的安装与实战
qq_41810183的博客
01-12 160
端口60010打不开的情况，是因为hbase 1.0 以后的版本，需要自己手动配置，在文件 hbase-site。启动hbase（启动的hbase的时候要保证hadoop集群已经启动）put ‘表名’，‘rowkey的值’，’列族：列标识符‘，’值‘HBase 追加型数据库 会保留多个版本数据。配置hbase-site.xml。配置hbase-env.sh。
CDH6.2.0详细安装步骤
热门推荐
努力努力再努力！的博客
07-19 7万+
1.准备集群 本文档使用的是三台虚拟机，IP和主机名自行修改，三台虚拟机需要能联网，并且能够免密登录，这些网上都能找到详细的教程，有问题也可以底部留言交流。 ip 名称 内存 172.17.0.169 node169 16G 172.17.0.170 node170 16G 172.17.0.171 node171 16G 2.安装JDK 百度网盘 链接：https://pan.baidu.com/s/1eR-ZAZNLBZwSLgUSmmlfEQ 提取码：95yu 2.1 创建
大数据平台 CDH6.2.1 搭建
qq_36306519的博客
04-26 1782
大数据平台 CDH6.2.1 搭建
CDH6.3.1安装
Allenzyg的博客
05-28 5719
CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件： 1. 内存要足够大 我的电脑内存是8G： 使用虚拟机安装 Cloudare server：4G Cloudare agent：分别为1G 电脑最后很卡，而且内存98%。 官方推荐最小内存为10G，所以最好还是听从官方的建...
CDH环境准备及安装
SkyinEast的博客
03-02 124
CDH安装及部署
CDH5x离线安装+解决报错教程
李指导的博客
08-20 3824
CDH 集成了 Apache Hadoop 中各种相关组件，提供的 CM 服务提高了我们对于集群管理与安装的便捷性。温故而知新，在学习与使用的过程中也经常踩坑，所以做一些相关的总结，以下内容皆为个人理解的内容并非标准，如有异议之处，望指出。官方安装指南:CM的四大功能:1.管理：对集群进行管理，如添加、删除节点等操作。2.监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。3.诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值