![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
DoNotStop
使我痛苦者,必使我强大!
展开
-
Flume (一) Introduction
OverviewApache Flume是一个分布式、高可靠和高可用的, 用于收集、聚集和将来自不同来源的大量日志数据移动到一个中央数据仓库。Apache Flume不仅仅局限于数据的聚集。由于数据是可定制的,Flume可用于传输大量事件数据,包括但不限于网络流量数据,社交媒体生成的数据,电子邮件消息以及几乎任何可能的数据源。Apache Flume是Apache软件基金会的顶级项目。...翻译 2018-07-26 16:29:42 · 206 阅读 · 0 评论 -
Flume (九) Channels - Kafka Channel
事件存储在Kafka群集中(必须单独安装)。 Kafka提供高可用性和复用(high availability and replication),因此如果代理或kafka代理崩溃,事件可立即用于其他接收器.Kafka channel 可用于多种场景:使用Flume source and sink - 它为事件提供了可靠且高度可用的通道使用Flume source and interce...翻译 2018-08-01 16:48:31 · 9059 阅读 · 2 评论 -
Flume (八) Sources
Avro Source监听Avro端口并从外部Avro客户端流接收事件。 当与另一个(previous hop)Flume代理上的内置Avro Sink配对时,它可以创建分层集合拓扑。 必需属性以粗体显示。 属性名称 默认值 描述 channels – type – 组件类型名称,需要是avro bind – hostna...翻译 2018-08-01 09:30:21 · 522 阅读 · 0 评论 -
Flume (七) Monitoring
Flume中的监控仍在进行中。 变化可能经常发生。 几个Flume组件向JMX平台MBean服务器报告度量标准。 可以使用Jconsole查询这些指标。JMX Reporting可以通过使用flume-env.sh在JAVA_OPTS环境变量中指定JMX参数来启用JMX报告,如export JAVA_OPTS="-Dcom.sun.management.jmxremote -Dco...翻译 2018-07-31 14:17:04 · 741 阅读 · 0 评论 -
Flume (六) Interceptors
Flume has the capability to modify/drop events in-flight. This is done with the help of interceptors. Interceptors are classes that implement org.apache.flume.interceptor.Interceptor interface. An interceptor can modify or even drop events based on any cri翻译 2018-07-31 13:57:42 · 618 阅读 · 0 评论 -
Flume (五) Channel Selectors
Flume Channel Selectors, Replicating ,Multiplexing and Custom Channel Selector翻译 2018-07-26 16:37:50 · 564 阅读 · 0 评论 -
Flume (四) Sink Processors
接收组(Sink groups)允许用户将多个接收器分组到一个实体中。 接收器处理器(Sink processors)可用于在组内的所有接收器上提供负载均衡功能,或在临时故障(temporal failure)的情况下实现从一个接收器到另一个接收器的故障转移。翻译 2018-07-26 16:37:18 · 717 阅读 · 0 评论 -
Flume (三) Configuration
Configuration正如前面部分所述,Flume代理程序配置是从类似于具有分层属性设置的Java属性文件格式的文件中读取的。Defining the flow要在单个代理中定义流,您需要通过channel连接sources 和sinks 。 您需要列出给定agent的sources,sinks 和channels,然后将sources和sinks指向channels。 sou...翻译 2018-07-26 16:34:15 · 281 阅读 · 0 评论 -
Flume (二) Setup
SetupSetting up an agentFlume代理配置存储在本地配置文件中。 这是一个遵循Java属性文件格式的文本文件。 可以在同一配置文件中指定一个或多个代理的配置。 配置文件包括代理中每个Source,Sink和Channel的属性以及它们如何连接在一起以形成数据流。Configuring individual components (配置单个组件)Eac...翻译 2018-07-26 16:32:50 · 329 阅读 · 0 评论 -
Flume (十) Sources - Kafka Source
Kafka Source是一个Apache Kafka消费者,它从Kafka主题中读取消息。 如果您正在运行多个Kafka Source,可以为这些Source配置相同的消费者组(Consumer Group),以便每个Source都读取一组唯一的主题分区。 属性名称 默认值 描述 channels – type – 组件类型名称,需要是or...翻译 2018-08-01 16:50:13 · 3196 阅读 · 0 评论