Flume-概述

Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构,灵活简单。

Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HDFS。

 

一、架构

https://flume.apache.org/FlumeUserGuide.html#data-flow-model

 

二、组件

1.Agent

Agent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的。

Agent 主要有 3 个部分组成,Source、Channel、Sink。

2.Source

https://flume.apache.org/FlumeUserGuide.html#flume-sources

Source 是负责接收数据到 Flume Agent 的组件。

Source 组件可以处理各种类型、各种格式的日志数据,包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。

3.Sink

https://flume.apache.org/FlumeUserGuide.html#flume-sinks

Sink 不断地轮询 Channel 中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。

Sink 组件目的地包括 hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。

4.Channel

https://flume.apache.org/FlumeUserGuide.html#flume-channels

Channel 是位于 Source 和 Sink 之间的缓冲区。因此,Channel 允许 Source 和 Sink 运 作在不同的速率上。

Channel 是线程安全的,可以同时处理几个 Source 的写入操作和几个 Sink 的读取操作。

Flume 自带两种 Channel:Memory Channel 和 File Channel 以及 Kafka Channel。 Memory Channel 是内存中的队列。Memory Channel 在不需要关心数据丢失的情景下适 用。如果需要关心数据丢失,那么 Memory Channel 就不应该使用,因为程序死亡、机器宕 机或者重启都会导致数据丢失。

File Channel 将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

5.Event

传输单元,Flume 数据传输的基本单元,以 Event 的形式将数据从源头送至目的地。Event 由 Header 和 Body 两部分组成,Header 用来存放该 event 的一些属性,为 K-V 结构,Body 用来存放该条数据,形式为字节数组。

转载于:https://www.cnblogs.com/jhxxb/p/11555672.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
概述: Spark Streaming是Apache Spark的一个组件,它提供了实时数据处理的能力。它可以从各种数据源(如Kafka、Flume、Twitter、HDFS等)中读取数据,并将其转换为DStream(离散流)进行处理。Spark Streaming提供了与Spark相同的API,因此可以使用Spark的所有功能来处理实时数据。 基本概念: 1. DStream:离散流,是Spark Streaming的基本抽象。它代表了一个连续的数据流,可以通过一系列的转换操作进行处理。 2. 输入源:Spark Streaming可以从多种输入源中读取数据,如Kafka、Flume、Twitter、HDFS等。 3. 转换操作:Spark Streaming提供了与Spark相同的API,可以使用各种转换操作对DStream进行处理,如map、filter、reduceByKey等。 4. 输出操作:Spark Streaming可以将处理后的数据输出到多种输出源中,如HDFS、数据库、Kafka等。 性能调优: 1. 调整批处理间隔:Spark Streaming的批处理间隔决定了数据处理的延迟和吞吐量。较小的批处理间隔可以提高实时性,但会增加系统负载和网络开销。 2. 调整并行度:并行度决定了Spark Streaming的处理能力。可以通过增加Executor数量、调整Executor内存等方式来提高并行度。 3. 使用持久化存储:Spark Streaming可以使用持久化存储来缓存数据,减少数据读取和处理的开销。 4. 使用数据压缩:数据压缩可以减少数据传输的开销,提高系统吞吐量。 5. 避免数据倾斜:数据倾斜会导致某些Executor负载过重,影响系统性能。可以通过调整数据分区、使用随机键等方式来避免数据倾斜。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值