CDH集群搭建详细步骤

最新推荐文章于 2024-02-21 11:40:37 发布

wanghenghengheng

最新推荐文章于 2024-02-21 11:40:37 发布

阅读量7.4k

点赞数 1

本文链接：https://blog.csdn.net/wanghenghengheng/article/details/89207739

版权

本文详细介绍了CDH集群的搭建过程，从规划硬件资源、安装操作系统，到配置Hadoop、Spark等组件，以及集群的监控和维护，涵盖了一系列关键步骤。

摘要由CSDN通过智能技术生成

CDH集群搭建笔记

企业：
	第一个方面：
		数据分析
	第二个方面：
		数据检索

基本组件：
	* Zookeeper
		分布式协作框架
			节点数目
				测试集群：3 个
				生产集群：
					>> 小型集群, 3 个或者 5个
					>> 中型机群，５　个　或者　７个
					>> 大型机群, 奇数个
	* HDFS
		存储海量数据
	* YARN
		集群资源管理
		资源调度
	* MapReduce
		并行计算框架
		思想：
			分而治之
			分：map 
			合：reduce

集群大小：
>>> 测试集群
		机器数量：
				5 台   -  10 台
		机器配置：
				>> 内存：24 G /   32 以上
				>> 硬盘：4 TB  以上
				>> CPU 核：6 核CPU 以上
				>> 网卡：万兆
				

>>> 生产集群
	>> 小型集群
		机器数量：
				20 台以下
	>> 中型机群
				50 台以下
	>> 大型机群
				50 台以上


============================Hadoop 发行版本================================
>> Apache

>> CDH
	Cloudera公司
		只支持64位操作系统
安装
	>> tar 包
		http://archive.cloudera.com/cdh5/cdh/5/
	>> rpm 包
		http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/
	>> parcels 包
		cdh 4.1.2 以后才有的
		官方推荐的安装方式
		Cloudera Manager进行安装

>> HDP
	Hortonworks


公司版本：
	apache   ->   cdh    |   hdp 
面试题：
	apache与cdh的比较？？为什么选择了cdh？？？


>>>>>>>>>>>>>>>>>>>>集群环境准备>>>>>>>>>>>>>>>>>>>>
>> 机器
	>> 磁盘阵列
			RAID 0   RAID1  JBOD
			RAID 1 
					两块磁盘映射为一块磁盘使用。
					CentOS 6.4版本，其中一块磁盘损坏，不会影响系统
			JBOD 
				DataNode存储数据推荐的方式
				/dfs/data01
				/dfs/data02
				/dfs/data03
				/dfs/data04

	>> 操作系统
		redhat 6.x /CentOS 6.x
		6.4						6.4
	
>> 系统