CDH集群环境要求

最新推荐文章于 2024-05-13 21:57:41 发布
最新推荐文章于 2024-05-13 21:57:41 发布
阅读量1.1w 收藏 6
点赞数 1
分类专栏： 大数据 文章标签： CDH CDH集群 hadoop集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011594486/article/details/77507591
版权



CDH 5.x 集群

CDH 5.X 集群如下图所示：



由于集群使用yarn的高可用机制，一般选择奇数台主机，所以，最小集群主机数要求应为3台。


根据 CDH 官网提供的虚拟机运行版本，可以看到，Cloudera Express 版本，虚拟机最低单机运行的内存不能低于 8 GB 。


Cloudera Enterprise 版本，虚拟机最低单机运行的内存不能低于 10 GB 。


建议服务器配置

最低0.47元/天 解锁文章
WorkWorship
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
CDH软硬件配置建议
12-07
该文档为Cloudera官方提供的CDH部署的软硬件配置建议，包括操作系统、JDK、浏览器、数据库、Hadoop关键组件版本、硬件配置以及网络拓扑等相关配置建议。
快速建立一个小型CDH集群（施工完毕）
LittleMagic's Blog
07-07 467
临时接到其他需求，为了方便测试，需要建立一个与主要业务隔离的线下集群。本文来记录详细步骤。 环境说明 CentOS 7.3 JDK 1.8.0_172 MySQL 5.7.21 w/ Connector Java 5.1.45 CDH 5.13.3 Cloudera Manager 5.13.3 3个KVM虚拟化节点。每个节点4核心，24G内存，40G硬盘 除非特别说明，均以ro...
2024年大数据最新CDH集群6，大数据开发通用流行框架大全
最新发布
2401_84183669的博客
05-13 920
注意此处有坑：对于MySQL5.7高版本，启动CM Server连接MySQL时可能会报com.mysql.jdbc.exceptions.jdbc4.CommunicationsException异常，原因是默认开启了SSL认证，相当于useSSL=true，解决方法就是在配置中添加skip-ssl重启MySQL服务，另外[mysqld_safe]配置项已废弃不用，以下的配置均已经过验证。用于各节点连接数据库，Cloudera要求必须创建在/usr/share/java目录下才能被组件使用。
安装 | 企业版CDH服务器集群配置(详细)
木野归郎
03-04 4658
大家好，我是小轩
数据开发之CDH搭建所需依赖如何配置？
y_wang_的博客
04-09 339
在使用CDH搭建大数据平台的时候，如何配置依赖包？
CDH初期集群构建方案
ClouderaHadoop的博客
03-12 650
未完成@TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会...
CDH集群部署.doc
03-21
本文档描述了在虚拟机上的CDH集群部署方案，该方案用于测试环境，同时也可以作为实际环境部署的指导。该方案采用VMware Workstation Pro 12虚拟机环境，虚拟三台机器，一主两备；主节点4G内存，50G磁盘空间。 一、...
CDH6.3.2集群部署手册
03-26
CDH6.3.2集群部署手册是用于指导用户在其环境中部署Cloudera Distribution for Hadoop（CDH）版本6.3.2...通过按照手册提供的步骤逐步操作，用户可以顺利地搭建一个稳定、可靠的CDH集群，用于其大数据处理和分析需求。
CDH集群软件安装手册@20191118.docx
11-18
1. 检查生产环境：检查生产环境的硬件和软件配置，确保满足CDH集群的安装要求。 2. 优化、修改系统配置：根据CDH集群的安装要求，优化和修改系统配置，包括修改主机名、网络配置、安全配置等。 3. 安装CDH集群组件：...
大数据CDH集群部署文档v1.1.docx
08-13
大数据CDH集群部署文档是指利用Cloudera Distributed Hadoop（CDH）搭建大数据集群的指导手册，旨在帮助用户快速搭建大数据环境，学习大数据利器。以下是该文档的知识点总结： 大数据CDH集群概述 CDH是Cloudera...
Cloudera CDH集群运维手册
01-09
《Cloudera CDH集群运维手册》是一份深入解析Cloudera CDH集群管理与运维的详尽指南，尤其适合已经或计划使用Cloudera CDH进行大数据处理的团队参考。Cloudera CDH（Cloudera Distribution Including Apache Hadoop...
【CDH部署】全网最简单CDH6.2.0环境部署
01-07
下载链接 官方下载链接: https://archive.cloudera.com/cdh6/6.2.0/parcels/ 百度网盘下载链接: https://pan.baidu.com/s/1Dm5Elf9uQqn14BUbgU3AFQ 提取码: mws3 主机规划 sparkproject1 manager 8G 50GB sparkproject2 agent 4G 50GB sparkproject3 agent 4G 50GB 1. 设置IP, hostname, hosts, ssh免密登录 可参考Hadoop中linux基本配置那篇文章 【Hadoop部署】Hadoop环境部署1
CDH配置说明_20200414.docx
04-18
CDH5.11.1安装配置说明 Cloudera Manager 是 CDH 市场领先的管理平台。作为业界第一的端到端 Apache Hadoop 的管理应用，Cloudera Manager 对 CDH 的每个部件都提供了细粒度的可视化和控制，从而设立了企业部署的标准。通过 Cloudera Manger，运 维人员得以提高集群的性能，提升服务质量，提高合规性并降低管理成本。
CDH5.14.0安装配置优化文档。
11-05
本人自己的CDH5.14.0的安装记录，保存LINUX配置，MYSQL安装，所有过程记录，以及优化记录。
CDH_Hadoop5.13.3集群离线部署（三台主机）
10-10
前言：想学习大数据开发，搭建大数据CDH_Hadoop集群是免不了的工作，这一步至关重要。而搭建CDH_Hadoop不是一件容易的事情，步骤很多，配置繁琐，这也是大数据门槛高的一个体现，很多新手都卡在这一关。经过实践和参考相关资料，个人总结整理成文档，为自己为他人，希望都有帮助。
CDH集群搭建
qq_40391481的博客
06-04 310
CDH集群搭建与管理自建yum仓库安装mysql并创建元数据库环境准备安装cm配置集群 自建yum仓库 由于官方服务器太慢，并且集群规模够大的话会造成断线安装不成功，除非使用一些外网通道vpn专线，所以本次搭建采用yum离线方式。 具体命令如下: yum install httpd -y systemctl restart httpd systemctl enable httpd cd /var/www/html mkdir CDH6.2 cp 安装包
搭建5个节点的hadoop集群环境（CDH5）
热门推荐
陌上花开
05-18 5万+
搭建一个分布式的hadoop集群环境，下面是详细步骤，使用cdh5 。提示：如果还不了解Hadoop的，可以下查看这篇文章Hadoop生态系统，通过这篇文章，我们可以首先大致了解Hadoop及Hadoop的生态系统中的工具的使用场景。 一、硬件准备 基本配置: 操作系统 64位 CPU (英特尔)Intel(R) I3处理器 内存 8.00 GB ( 1600 MHz) 硬盘剩余空间 50G 流畅配置: 操作系统 64位
超详细版企业离线部署CDH6.10集群与配置使用
涤生大数据
06-11 7068
进入大数据行业数载，也从一个开发小白走到了今天，期间也历经过一摸番着石头过河的探索，到如今的胸有点墨；玩过demo,使用过负责过上千节点的大数据集群开发与使用；被人面虐过，也面挂过很多人；如今，想趁着自己心中有火，眼里有光的年纪，把自己的一点心得与经验分享大数据行业的爱好者。也希望有助于后面的童鞋少走弯路，也欢迎大家私信交流。持续每周更新。 死磕大数据系列 1.死磕大数据系列将从企业上千节点集群的搭建（包括cdh集群，以及升级后apache hadoop3集群），性能优化，牵扯到的组件包括...
企业级集群搭建方案建议(基于CDH )
永青技术博客
09-07 1109
集群规模取决于用户数据及应用需求，最终规划值为以下各种计算方式得出的最小集群规模的最大值・容量需求– 估算相对容易且准确– 大多数案例可以通过容量来决定集群规模・计算需求– 准确的估算计算资源只能通过小规模测试并合理估算・其他资源限制– 如用户 MapReduce 应用可能对内存等资源有特殊要求，且单节点可配置资源相对有限，则集群最小规模需满足用户此类资源要求・建议使用万兆网络或更高速度网络– 如要充分利用磁盘并行操作带宽，至少需要万兆网络。
大数据CDH集群部署安装运维手册，自己网上买的，希望对大家有帮助
10-18
大数据，经典文档，CDH集群部署安装运维手册，61页，docx文档 内容：1 Cloudera Manager 使用 2 配置安装源 3 集群管理 4 集群节点管理 5 集群用户管理 6 集群资源管理 7 集群安全管理

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值