大数据
沙琪玛--充电站
这个作者很懒,什么都没留下…
展开
-
Hadoop系列
一、Hadoop项目架构 Hadoop框架是用来解决数据离线批处理问题的框架, hadoop两个核心:HDFS和MapReduce. HDFS是架构在Hadoop之上的分布式文件系统, MapReduce是架构在Hadoop之上用来做计算的框架。 用途:解决分布式存储和离线计算。 特点:高可靠性、高效性、可扩展性、成本低(普通PC机都能构建集群) 应用:Google、Facebook等,用于日志处...转载 2020-03-30 23:08:29 · 85 阅读 · 0 评论 -
大数据平台架构的组成
01、大数据平台 是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。 02 典型大数据平台架构 由上到下,可分为三个部分:数据搜集、数据处理、数据输出与展示。 (1)、数据采集 将应用程序发作的数据和日志等同步到大数据系统中,由于数据源不同,这里的数据同步系统实际上是多个相关...转载 2020-03-30 22:42:28 · 703 阅读 · 0 评论