大数据
Mr贾
这个作者很懒,什么都没留下…
展开
-
二、大数据的生态体系
大数据的生态体系架构图 自下而上: 数据来源层:主要是我们业务中的一些数据,比如:订单信息,客户访问量,客户访问喜好等 数据传输层:根据数据的结构不同主要分为Sqoop\Flume\Kafka等 数据存储层:Hadoop中常用的文件存储主件就是HDFS,HBase是非关系型数据以<K, V>键值对存储,Kafka可以有1G的缓存 资源管理层:Yarn资源的管理,负责分配内存、网络分配等 数据计算层:分为离线调度和实时调度 离线计算主要负责统计任务,比如一天、一个月的交易量等,常原创 2021-03-21 13:14:05 · 965 阅读 · 0 评论 -
一、Hadoop的结构概述
Hadoop的组成结构体 主要四个部分分别负责不同的功能,实现解耦,功能隔离 一、HDFS:Hadoop Distracted File System 分布式文件系统, 其架构如下: 主要包括以下三个部分: DataNode: 数据节点,用来存储数据,负责数据的读写操作和复制操作,相当于我们书本内容 NameNode: 存储了数据块的 文件名,大小,位置等详细信息,相当于我们的目录 Secondary NameNode:定时与NameNode进行同步(定期合并文件系统镜像和编辑日.原创 2021-02-28 13:36:43 · 2145 阅读 · 0 评论