大数据——Flume入门，基础，学习笔记

目录

什么是Flume?

Flume组成

Flume结构图

简单结构

复杂结构

Flume 和kafka的区别：

---

 

---

什么是Flume?

Flume是一种分布式，可靠且可用的系统，用于有效地收集，聚合和移动大量日志数据.

flume 的核心是通过内部组件source把日志信息收集起来，source将日志信息整理封装，通过channel通道缓存数据并发送到目的地sink，当数据完全发送之后，channel的缓存数据删除.

Flume组成

Agent：Agent是Flume最重要的组成部分，Flume系统就是由一个一个的Agent组成的.

Source：Agent的内部组件，用于接收日志数据，并将其封装成一个一个的event，然后传给Channel.

event：Flume系统内部将日志数据封装成event进行传输，event的结构是json串.

Channel：传输通道，被动的接收Source传来的数据，并进行缓存.

Sink：目的地，接收event，并将其拆封成原始数据（也可不拆）.

Flume结构图

简单结构

Flume将WebServer产生的日志数据接收到，传输给HDFS进行保存.

复杂结构

多级流动，扇入扇出.

Flume 和kafka的区别：

1. Flume作为日志收集端，Kafka作为日志消费端.
2. Flume的推送是push，Kafka的推送是pull.
3. Flume是管道方式传输，Kafka是消息队列方式传输.