cdh部署文档

最新推荐文章于 2024-06-12 18:02:46 发布
最新推荐文章于 2024-06-12 18:02:46 发布
阅读量588 收藏
点赞数
分类专栏： Linux运维基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq850482461/article/details/107529441
版权

一.概述CDH

Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。

配合下面的教程使用
https://www.bilibili.com/video/BV1YE41117xM?from=search&seid=1286781471417665667

二.安装需要环境

提前准备好cm离线包

https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/

Parcels离线源

https://archive.cloudera.com/cdh6/6.3.2/parcels/

机器最少需要3台，奇数个
官方推荐前置
1.系统推荐使用centos7.x,因为cm依赖python2.7
2.java环境需要jdk1.8,以及jdbc5.1
3.数据库环境。推荐使用mysql5.7
4.CDH-6.3.2套装
5.3台机器NTP时间同步
6./etc/hosts 添加主机名
7.所有主机都设置免密登录！！！！

# host 如图所示
192.168.122.193 hadoop001 # server + agent
192.168.122.196 hadoop002 # agent
192.168.122.197 hadoop003 # agent
1.yum安装mysql5.7

https://dev.mysql.com/doc/mysql-repo-excerpt/5.6/en/linux-installation-yum-repo.html

server机器才需要安装数据库

官方推荐my.cnf的配置

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0

key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1

max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M

#log_bin should be on a disk with enough free space.
#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log

#In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id=1

binlog_format = mixed

read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M

# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

sql_mode=STRICT_ALL_TABLES

创建数据库以及用户，需要自行修改密码验证等级才能使用弱口令

# 创建数据库
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

# 添加用户授权
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456';
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '123456';
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '123456';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '123456';
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY '123456';
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456';
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '123456';
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '123456';
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456';
# 刷新权限
FLUSH PRIVILEGES;
2.安装JDK和JDBC

所有机器都安装

# 一定是在/usr/java/jdk1.8.0_251下否则不能启动！！！！！不要改版本号
# 一定是在/usr/java/jdk1.8.0_251下否则不能启动！！！！！不要改版本号
# 一定是在/usr/java/jdk1.8.0_251下否则不能启动！！！！！不要改版本号

mkdir /usr/java
tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/java/

# 赋予root权限
chown -R root:root /usr/java/

vim /etc/profile
#java environment
export JAVA_HOME=/usr/java/jdk1.8.0_251/
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=$PATH:${JAVA_HOME}/bin

# 让配置生效
source /etc/profile

安装jdbc

# 创建目录
mkdir -p /usr/share/java/
tar -zxf mysql-connector-java-5.1.49.tar.gz
cd mysql-connector-java-5.1.49
# 一定要重命名去掉版本号！！！ 目录不能修改
# 一定要重命名去掉版本号！！！ 目录不能修改
# 一定要重命名去掉版本号！！！ 目录不能修改
cp mysql-connector-java-5.1.49.jar /usr/share/java/mysql-connector-java.jar
3. 安装CM server以及agent 和内网parcel源

安装包如下

[root@localhost x86_64]# ll
total 1380420
-rw-r--r-- 1 2001 2001   10483568 Sep 25  2019 cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r-- 1 2001 2001 1203832464 Sep 25  2019 cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r-- 1 2001 2001      11488 Sep 25  2019 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r-- 1 2001 2001      10996 Sep 25  2019 cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r-- 1 2001 2001   14209868 Sep 25  2019 enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
-rw-rw-r-- 1 2001 2001  184988341 Sep 25  2019 oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

hadoop001(master)安装server daemons agent

cm server [hadoop001]:
yum localinstall -y cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
yum localinstall -y cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
yum localinstall -y cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

hadoop002 (agent) 安装daemons agent

cm agent[hadoop002]:
yum localinstall -y cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
yum localinstall -y cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

hadoop003(agent) 安装daemons agent

cm agent[hadoop003]:
yum localinstall -y cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
yum localinstall -y cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

在CM server机器安装parcel离线源

# 安装apache
yum install -y httpd
# 创建cdh6_parcel目录
mkdir /var/www/html/cdh6_parcel/
# 重点注意cp的时候顺便把sha1要重命名为sha
# 重点注意cp的时候顺便把sha1要重命名为sha
# 重点注意cp的时候顺便把sha1要重命名为sha
cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /var/www/html/cdh6_parcel/
cp manifest.json /var/www/html/cdh6_parcel/

#启动httpd
systemctl start httpd
systemctl enable httpd

# 测试parcel页面
curl http://127.0.0.1/cdh6_parcel/

集群中的所有机器都开启内存大页面

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
4. 修改 server以及agent 的配置文件

server机器修改配置/etc/cloudera-scm-server/db.properties

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=hadoop001
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=123456
# setupTypey一定要修改为EXTERNAL
com.cloudera.cmf.db.setupType=EXTERNAL

启动server服务

systemctl start cloudera-scm-server

agent机器修改配置vim /etc/cloudera-scm-agent/config.ini

[General]
# Hostname of the CM server.
server_host=hadoop001

# Port that the CM server is listening on.
server_port=7182

启动agent服务

systemctl start cloudera-scm-agent

启动出错日志排查位置

# server日志
/var/log/cloudera-scm-server
# agent日志
/var/log/cloudera-scm-agent
4. 启动web进行配置

server机器启动后监听7180端口，登录web即可进行配置，需要注意的是web选择parcel源

选择继续同意各种协议，勾选选择免费版
在这里插入图片描述
选择机器界面勾选所有机器
在这里插入图片描述
选择存储界库，更多选项-远程Parcel存储库url地址更改为，apache搭建的内网存储库url地址
http://hadoop001 /cdh6_parcel/

在这里插入图片描述
在这里插入图片描述

cdh自检测试，测试网络host等
在这里插入图片描述

安装页面进行最小化安装，只安装一个服务即可
在这里插入图片描述

CDH公司常用业务
在这里插入图片描述
cdh常用的http端口

  • 8082 flink web端口
  • 8088 yarn web端口
  • 7180 cdh web端口
  • 9870 Hadoopweb端口
周周周周和
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH 离线部署文档.docx
06-10
cdh集群安装部署文档，目前使用的是自己的本地环境，伪分布式做的，生产环境可能需要新增一些步骤。
CDH安装部署文档
11-15
CDH安装部署文档，此文档是个人学习总结，有不足之处，希望大家可以提出
大数据CDH集群部署文档v1.1.docx
08-13
大数据CDH集群部署文档，学习大数据利器
CDH集群6.3.2 + CM6.3.1离线安装部署实操保姆级详细教程
BlogPan的专栏
08-23 7204
CDH是一个基于Apache Hadoop的开源软件分发版本，由Cloudera公司开发和维护。CDH提供了统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案，组件包括Hadoop分布式文件系统（HDFS）、分布式计算框架（MapReduce）及其他相关开源组件，如Hive、HBase、Impala等。CDH的目标是简化大数据处理和分析的过程，使企业能够更好地利用大数据来获取洞察力和价值。CM是Cloudera提供的一个集中式管理工具，用于管理和监控CDH集群。
CDH大数据平台部署安装（详细）
最新发布
m0_73800495的博客
06-12 980
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
CDH6.3.2部署文档
weixin_53486405的博客
01-13 453
操作系统：Centos7CM：6.3.1CDH：6.3.2JDK：1.8服务器配置：服务器名称CPU内存磁盘Cdh14核10G100GCdh24核4G50GCdh34核4G50GCMCDHMySql#关闭并禁用防火墙#关闭并禁用 NetworkManager#重启网络服务#查看IP地址ip addr# ping 内外网#临时关闭 selinux#永久关闭 selinux#验证ssh-keygen -t rsa #按三次回车。
CDH6安装文档
延宝小白马的博客
05-14 271
大数据CDH集群安装步骤
CDH6.1安装部署文档附带安装包（三节点为例）
Alan3344的博客
12-03 3776
一、安装包下载 链接：https://pan.baidu.com/s/1G6V9u5PDyxlixZ2PwGWdJA 提取码：q8mb 注：以上安装包是一个zip包，内包含安装CDH6.1所有的包，下载后解压即可 二、上传安装包到master节点 #个人习惯在opt目录下创建一个package目录用于存放安装包 三、解压安装zip包 指令如下： unzip cloudera.zip 如图： 四、前期服务器环境准备 1、 ...
CDH5.4部署文档
03-28
CDH5.4部署文档
CDH6.3.2安装文档
别人笑我太疯癫，我笑他人看不穿。
11-05 2286
安装说明 CDH是一个完善的Apache Hadoop及相关项目的发行版。CDH通过WEB界面管理，并提供了hadoop的两个核心功能：可扩展存储和分布式计算，以及企业级的重要功能。CDH是遵循Apache-licensed的开源软件，提供了基于hadoop的批处理、交互SQL、交互查询、基于角色的访问控制。 Cloudera Manager是一个管理CDH集群端到端的应用。Cloudera Manager通过向CDH集群的每个部分提供细粒度的可见性及可控性，建立出一套企业部署标准，这可以提高性能、服务质量
CDH5.12部署文档（亲测有效）
10-24
测试通过的CDH部署文档 需要3台虚拟机 一台作为master 两台作为slave
CDH安装部署手册
10-25
本人在大数据行业工作多年，该手册是通过实践写的部署手册，供大家参考。
CDH5.5.7离线部署文档
08-05
这份文档是针对centos7或redhat7以下的系统CDH集群安装文档。
CDH配置文档（Centos7单机模式）
AF黑眼圈患者的博客
08-10 940
CDH安装 centos7 安装版本：Cloudera Manager-5.12.1、CDH-5.12.1、jdk-1.8.0_261、mysql-5.7.16、spak2-2.4.0、kafka-4.1.0。添加服务界面就不详细展开了，web界面每一个服务安装过程都会指定安装主机，本次单机安装全部装在本机上，下一步根据需要调配置安装就好。• 是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建。...
CDH集群安装文档
song_quan_的博客
02-22 1922
实时大数据平台安装文档 文档编号 版本号 V1.0 名称 实时大数据平台安装文档 总页数 正文 编写日期 审批 1. 引言 1.1 编写目的 该手册旨在记录部署大数据CDH集群的流程，为后续作业提供参考，提高利用CM部署集群的效率和减少出现问题的可能性，帮助现场部署人员更好，更快地完成部署任务。 1.2 环境及术语 该手册要求，现场部署环境已经安装好操作系统，建议centos7.4，且网络已经
CDH官方文档
只是甲的博客
12-03 1240
CDH相关学习资料，网上的太杂，还是以官方文档为主。 文档总览: https://www.cloudera.com/documentation/enterprise/6/6.3.html 官方api: https://www.cloudera.com/documentation/enterprise/6/6.3/topics/cloudera_manager.html cm管理： https://www.cloudera.com/documentation/enterprise/6/6.3/topics/c
CDH6.3.1离线安装文档手册
weixin_42889424的博客
04-24 398
CDH离线安装
[CDH官方文档]--CDH最新官方文档(最全)
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
09-27 1万+
原文网站：https://www.cloudera.com/documentation/enterprise/latest.htmlIntroductionCDH Cloudera Manager Cloudera Navigator FAQs Getting Help Release GuideRelease Notes Version and Download Info Product Com...
CDH离线部署指南：ClouderaManager安装和配置
CDH离线部署文档 CDH离线部署文档是指使用ClouderaManager离线部署CDH的文档，该文档已经在生产环境中正常使用，安装方便，文档详细，适合生产使用。 一、CDH离线部署文档概述 CDH离线部署文档旨在指导用户使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值