开源大数据技术2006年诞生
大数据组件:担任某个数据任务的软件
分类:数据接入组件、数据落地组件、数据计算组件、数据存储组件、展示组件、调度组件
把承担不同数据功能的组件串起来,完成某些业务功能的软件组合就叫大数据平台
最早的开源大数据平台:hadoop
hadoop的技术组件:HDFS、mapreduce、yarn、hbase、hive、zookeeper等
组件很多,以及每个组件内部又存在多个版本,想要完美组合起来,构成一个企业级的大数据平台使用者,需要先考虑2个问题
一是组件之间的选型问题,二是组件内部的版本兼容性问题
把完全开源的大数据组件,根据不同的功能、场景以及版本,然后经过一系列兼容性适配,组装成一个个大数据产品,然后提供管理界面
如:cloudera(CDH)、hortonworks(HDP)、合并之后推出新产品CDP
多种大数据平台核心技术差不多,选择需要根据实际业务特点跟方案的适配性来决定
大数据平台
最新推荐文章于 2024-05-14 01:09:59 发布