![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
caomuqiu
这个作者很懒,什么都没留下…
展开
-
Hadoop的基本特点
Hadoop的核心功能特点主要包括:1、分布式架构,可以处理数据量非常大的数据,可实现数据性能的线性扩展。2、多租户环境,实现多用户共同加工数据,数据无需频繁传输交换3、文件系统采用HDFS,三份数据副本,实现文件系统的高可靠4、有丰富的计算引擎,如MR、Hbase、SparkCore,基于MR可实现Hive,基于SparkCore可实现SparkSQL5、基于Hadoop的S原创 2018-01-30 22:15:37 · 13767 阅读 · 0 评论 -
大数据平台的建设思考——数据汇聚
大数据平台的建设思考(一)常规大数据建设、数据中心建设,会经过以下阶段:数据汇聚、清洗整合、融合、数据融合,数据输出给各个大数据应用使用。将整个数据流比作炒一道美味的菜肴,那么对应关系: - 买菜——数据汇聚 (业务系统->ODS层) - 洗切菜——清洗整合(ODS层->DWD层) - 炒菜——数据融合(DW、DM层) - 上菜——数据输出(API服务、数据交换)原创 2018-02-04 22:20:08 · 30060 阅读 · 2 评论