- 博客(3)
- 收藏
- 关注
RSS订阅原创 大数据课程知识点总结——Flume
Flume是提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。在Flume中有两个基本的概念：Event和Agent。
2024-04-25 16:10:47
1596
原创 大数据课程知识点总结——Hadoop
在设计Block大小的时候，考虑了寻址时间和Block的传输时间的比例。建立好管道后，客户端对当前Block块封包成一个个64KB的Packet（每个Packet由512字节的trunk和4字节的校验文件组成），写入第一个节点，然后由第一个副本所在节点传输给下一个节点，直到写入最后一个节点。Spill阶段：当缓冲区使用达到指定阈值，MapTask会将缓冲区中的数据溢写到本地磁盘上，之后会根据索引进行快速排序，如果用户指定了combine和压缩操作，会执行对应的操作。从Hadoop2.0开始，支持追加写入。
2024-04-24 09:58:47
1632
1
原创 大数据课程知识点总结——Zookeeper
即Zookeeper会存储和管理所有节点都关心的数据，然后接受观察者(即节点)的注册，一旦Zookeeper中存储的数据发生变化，注册到Zookeeper上的节点将都能够观察到这个变化，并且根据变化来做出对应的改变。如果一个节点被指定为observer，那么这个节点将不再参与任何决策，即observer不参与选举不参与原子广播，但是observer会监听选举和原子广播的结果，根据结果来执行对应的操作，可以理解为observer是没有决策权的follower。因为只有过半，在做事务决议时，事务才能更新。
2024-04-23 19:22:45
1329
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人