CDH集群环境要求

最新推荐文章于 2024-06-12 15:24:38 发布
最新推荐文章于 2024-06-12 15:24:38 发布
阅读量1.1w 收藏 6
点赞数 1
分类专栏： 大数据 文章标签： CDH CDH集群 hadoop集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011594486/article/details/77507591
版权



CDH 5.x 集群

CDH 5.X 集群如下图所示：



由于集群使用yarn的高可用机制，一般选择奇数台主机，所以，最小集群主机数要求应为3台。


根据 CDH 官网提供的虚拟机运行版本，可以看到，Cloudera Express 版本，虚拟机最低单机运行的内存不能低于 8 GB 。


Cloudera Enterprise 版本，虚拟机最低单机运行的内存不能低于 10 GB 。


建议服务器配置

最低0.47元/天 解锁文章
WorkWorship
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
CDH软硬件配置建议
12-07
该文档为Cloudera官方提供的CDH部署的软硬件配置建议，包括操作系统、JDK、浏览器、数据库、Hadoop关键组件版本、硬件配置以及网络拓扑等相关配置建议。
快速建立一个小型CDH集群（施工完毕）
LittleMagic's Blog
07-07 470
临时接到其他需求，为了方便测试，需要建立一个与主要业务隔离的线下集群。本文来记录详细步骤。 环境说明 CentOS 7.3 JDK 1.8.0_172 MySQL 5.7.21 w/ Connector Java 5.1.45 CDH 5.13.3 Cloudera Manager 5.13.3 3个KVM虚拟化节点。每个节点4核心，24G内存，40G硬盘 除非特别说明，均以ro...
CDH详解（史上最全）
最新发布
weixin_45424111的博客
06-12 1499
CDH详解，从小白到精通
安装 | 企业版CDH服务器集群配置(详细)
木野归郎
03-04 4681
大家好，我是小轩
数据开发之CDH搭建所需依赖如何配置？
y_wang_的博客
04-09 347
在使用CDH搭建大数据平台的时候，如何配置依赖包？
CDH初期集群构建方案
ClouderaHadoop的博客
03-12 657
未完成@TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会...
CDH集群部署.doc
03-21
本文档描述了在虚拟机上的CDH集群部署方案，该方案用于测试环境，同时也可以作为实际环境部署的指导。该方案采用VMware Workstation Pro 12虚拟机环境，虚拟三台机器，一主两备；主节点4G内存，50G磁盘空间。 一、...
使用IDEA工具连接CDH集群里面的hive组件
10-06
Hive的开发依赖于特定的jar包，这些包通常位于CDH集群的安装目录下。例如，在 `/opt/cloudera/parcels/CDH/lib` 目录中可以找到与Hive相关的jar文件。我们需要将这些jar包引入到我们的IDEA项目中。如果项目使用Maven...
CDH6.3.2集群部署手册
03-26
CDH6.3.2集群部署手册是用于指导用户在其环境中部署Cloudera Distribution for Hadoop（CDH）版本6.3.2...通过按照手册提供的步骤逐步操作，用户可以顺利地搭建一个稳定、可靠的CDH集群，用于其大数据处理和分析需求。
CDH集群软件安装手册@20191118.docx
11-18
1. 检查生产环境：检查生产环境的硬件和软件配置，确保满足CDH集群的安装要求。 2. 优化、修改系统配置：根据CDH集群的安装要求，优化和修改系统配置，包括修改主机名、网络配置、安全配置等。 3. 安装CDH集群组件：...
CDH+集群安全启动和关闭.doc
03-11
### CDH集群安全启动与关闭知识点详解 #### 一、CDH集群简介 Cloudera Distribution Including Apache Hadoop (CDH) 是一个基于Apache Hadoop的企业级大数据平台，由Cloudera公司提供支持和服务。CDH集成了众多...
【CDH部署】全网最简单CDH6.2.0环境部署
01-07
下载链接 官方下载链接: https://archive.cloudera.com/cdh6/6.2.0/parcels/ 百度网盘下载链接: https://pan.baidu.com/s/1Dm5Elf9uQqn14BUbgU3AFQ 提取码: mws3 主机规划 sparkproject1 manager 8G 50GB sparkproject2 agent 4G 50GB sparkproject3 agent 4G 50GB 1. 设置IP, hostname, hosts, ssh免密登录 可参考Hadoop中linux基本配置那篇文章 【Hadoop部署】Hadoop环境部署1
CDH配置说明_20200414.docx
04-18
CDH5.11.1安装配置说明 Cloudera Manager 是 CDH 市场领先的管理平台。作为业界第一的端到端 Apache Hadoop 的管理应用，Cloudera Manager 对 CDH 的每个部件都提供了细粒度的可视化和控制，从而设立了企业部署的标准。通过 Cloudera Manger，运 维人员得以提高集群的性能，提升服务质量，提高合规性并降低管理成本。
CDH5.14.0安装配置优化文档。
11-05
本人自己的CDH5.14.0的安装记录，保存LINUX配置，MYSQL安装，所有过程记录，以及优化记录。
CDH_Hadoop5.13.3集群离线部署（三台主机）
10-10
前言：想学习大数据开发，搭建大数据CDH_Hadoop集群是免不了的工作，这一步至关重要。而搭建CDH_Hadoop不是一件容易的事情，步骤很多，配置繁琐，这也是大数据门槛高的一个体现，很多新手都卡在这一关。经过实践和参考相关资料，个人总结整理成文档，为自己为他人，希望都有帮助。
CDH集群搭建
qq_40391481的博客
06-04 312
CDH集群搭建与管理自建yum仓库安装mysql并创建元数据库环境准备安装cm配置集群 自建yum仓库 由于官方服务器太慢，并且集群规模够大的话会造成断线安装不成功，除非使用一些外网通道vpn专线，所以本次搭建采用yum离线方式。 具体命令如下: yum install httpd -y systemctl restart httpd systemctl enable httpd cd /var/www/html mkdir CDH6.2 cp 安装包
搭建5个节点的hadoop集群环境（CDH5）
热门推荐
陌上花开
05-18 5万+
搭建一个分布式的hadoop集群环境，下面是详细步骤，使用cdh5 。提示：如果还不了解Hadoop的，可以下查看这篇文章Hadoop生态系统，通过这篇文章，我们可以首先大致了解Hadoop及Hadoop的生态系统中的工具的使用场景。 一、硬件准备 基本配置: 操作系统 64位 CPU (英特尔)Intel(R) I3处理器 内存 8.00 GB ( 1600 MHz) 硬盘剩余空间 50G 流畅配置: 操作系统 64位
超详细版企业离线部署CDH6.10集群与配置使用
涤生大数据
06-11 7094
进入大数据行业数载，也从一个开发小白走到了今天，期间也历经过一摸番着石头过河的探索，到如今的胸有点墨；玩过demo,使用过负责过上千节点的大数据集群开发与使用；被人面虐过，也面挂过很多人；如今，想趁着自己心中有火，眼里有光的年纪，把自己的一点心得与经验分享大数据行业的爱好者。也希望有助于后面的童鞋少走弯路，也欢迎大家私信交流。持续每周更新。 死磕大数据系列 1.死磕大数据系列将从企业上千节点集群的搭建（包括cdh集群，以及升级后apache hadoop3集群），性能优化，牵扯到的组件包括...
企业级集群搭建方案建议(基于CDH )
永青技术博客
09-07 1120
集群规模取决于用户数据及应用需求，最终规划值为以下各种计算方式得出的最小集群规模的最大值・容量需求– 估算相对容易且准确– 大多数案例可以通过容量来决定集群规模・计算需求– 准确的估算计算资源只能通过小规模测试并合理估算・其他资源限制– 如用户 MapReduce 应用可能对内存等资源有特殊要求，且单节点可配置资源相对有限，则集群最小规模需满足用户此类资源要求・建议使用万兆网络或更高速度网络– 如要充分利用磁盘并行操作带宽，至少需要万兆网络。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值