CDH 是什么

CDH 是由 Cloudera 公司构建,的Hadoop 稳定发行版。

一、痛点

一个产品的出现肯定是为了解决用户的痛点,在大数据领域,我们这些使用Hadoop、Hive、Hbase等的开发者来说就是其用户。如果使用原生的ApacheHadoop,在工作中我总结出了如下痛点(部分):

1、集群规模很庞大时搭建Hadoop集群复杂度越来越高,工作量很大

2、规模很大的集群下升级Hadoop版本很费时费力

3、需要自己保证版本兼容,比如升级Hadoop版本后需要自己保证与Hive、Hbase等的兼容

4、安全性很低

二、Hadoop发行版本引入

有了上述原生Hadoop不足,Apache官方和一些第三方就发布了一些Hadoop发行版本来解决此类问题。一些有名的发行版本列举如下:

• Apache Hadoop

• Cloudera’s Distribution Including Apache Hadoop(CDH)

• Hortonworks Data Platform (HDP)

• MapR

• EMR

• …

接下来我们开始介绍CDH

三、CDH介绍

CDH是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,全称Cloudera’s Distribution, including Apache Hadoop。

CDH提供了Hadoop的核心可扩展存储(HDFS)和分布式计算(MR),还提供了WEB页面进行管理、监控。

四、CDH架构

五、CDH优点

        • 版本划分清晰

    CDH3 基于Hadoop1.x,目前已经不再更新

    CDH4和CDH5基于Hadoop2.x

• 版本更新速度快

• 支持Kerberos安全认证

• 文档清晰

• 支持多种安装方式(Cloudera Manager方式)

    • Cloudera Manager

    • Yum

    • Rpm

    • Tarball

六、CDH获取
• CDH5.4

    • http://archive.cloudera.com/cdh5/

• Cloudera Manager5.4.3:

    • http://www.cloudera.com/downloads/manager/5-4-3.html

作者:张–小涛涛
来源:CSDN
原文:https://blog.csdn.net/jintaohahahaha/article/details/86282390
版权声明:本文为博主原创文章,转载请附上博文链接!

### 关于 Cloudera CDH 的安装配置使用指南 Cloudera Distribution Including Apache Hadoop (CDH) 是一种广泛使用的开源大数据平台解决方案,提供了完整的 Hadoop 生态系统组件。以下是关于如何安装和配置 CDH 的详细说明: #### 1. 准备工作 在开始安装之前,需完成以下准备工作: - **硬件环境**:确保服务器满足最低硬件需求,包括足够的 CPU、内存以及磁盘空间。 - **操作系统支持**:确认所选的操作系统版本被官方支持[^2]。 - **网络设置**:所有节点应能够通过主机名互相解析,并关闭防火墙或开放必要的端口。 #### 2. 下载并解压软件包 可以从指定路径或者官方网站获取所需版本的 Cloudera Manager 和 CDH 软件包: ```bash wget https://archive.cloudera.com/cm5/cm/5/cloudera-manager-el7-x86_64.tar.gz tar -xzvf cloudera-manager-el7-x86_64.tar.gz ``` 对于本地资源访问的情况,则可以直接复制到目标机器上[^2]: ```bash cp \\192.168.6.200\yunwei\工具\cloudera-manager\5_14_2/* /opt/ ``` #### 3. 配置文件权限 为了使 Cloudera Manager 正常运行,在所有节点上调整相关目录的所有者及其所属组为 `cloudera-scm` 用户和用户组[^1]: ```bash chown -R cloudera-scm:cloudera-scm /opt/cm-5.14.2 chown -R cloudera-scm:cloudera-scm /opt/cloudera ``` #### 4. 启动服务 启动 Cloudera Manager 及其代理程序(agent),这一步骤通常会自动执行,但如果手动操作可以尝试如下命令: ```bash sudo systemctl start cloudera-scm-server sudo systemctl start cloudera-scm-agent ``` #### 5. Web界面初始化向导 打开浏览器输入地址 http://<server-ip>:7180 登录至管理页面,按照提示完成数据库连接设定以及其他集群参数定义过程。此阶段涉及 License 导入验证环节,请提前准备好合法授权证书副本上传提交审核认证成功后继续后续流程处理事项安排计划表制定方案讨论会议记录文档撰写等工作内容描述清楚具体细节部分更加完善全面一些比较好一点哦! #### 注意事项 - 如果遇到任何错误消息,请查阅日志文件 `/var/log/cloudera-scm-*` 来诊断问题所在位置信息详情情况报告分析结论建议改进措施意见看法观点态度立场等方面进行全面深入细致周密考虑之后再做决定采取行动吧![^1] ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值