flume分布式
姜同学的学习笔记
这个作者很懒,什么都没留下…
展开
-
Flume: ------ SpringBoot 集成
Apache Flumeflume官方用户指南网址logback-flume-appender下载地址引入依赖 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.0.6.RELEASE</ver原创 2020-06-14 17:32:50 · 843 阅读 · 0 评论 -
Flume: ------ 应用API 、单机链接、集群链接、log4j集成
Apache FlumeFlume开发者指南Flume日志整合引入依赖 <dependencies> <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-sdk</artifactId> <version>1.9.0</version&g原创 2020-06-14 16:30:44 · 217 阅读 · 0 评论 -
Flume: ------ Sink Processors实现Sink Group的负载均衡、优先级选择
Apache Flumeflume官方用户指南网址启动flume[root@Centos ~]# cd /usr/apache-flume-1.9.0-bin/[root@Centos apache-flume-1.9.0-bin]# ./bin/flume-ng versionFlume 1.9.0Source code repository: https://git-wip-us.apache.org/repos/asf/flume.gitRevision: d4fcab4f501d4原创 2020-06-12 17:12:43 · 585 阅读 · 0 评论 -
Flume: ------ 通道选择器 replicating复制、Multiplexing分流
Apache Flumeflume官方用户指南网址通道选择器当一个Source组件对接多个Channel组件的时候, 通道选择器 决定了Source的数据如何传输到Channel中,如果用户不指定通道选择器,默认系统会将Source数据广播给所有的Channel(默认使用replicating模式)。replicating 复制广播配置example13.properties文件# 声明基本组件 Source Channel Sink example13.propertiesa1.sour原创 2020-06-09 21:40:33 · 683 阅读 · 0 评论 -
Flume: ------ 装饰头、查找替换拦截器、过滤抽取拦截器
拦截器作用于Source组件,对Source封装的Event数据进行拦截或者是装饰 ,Flume内建了许多拦截器Timestamp Interceptor该拦截器将事件处理的时间(以毫秒为单位)插入到事件标头中。此拦截器将插入一个具有关键timestamp 的标头(或由header属性指定),其值是相关的时间戳记。如果配置中已经存在该时间戳,则该拦截器可以保留现有时间戳。Host Interceptor该拦截器将插入正在运行该代理的主机的主机名或IP地址。它会根据配置插入带有密钥主机原创 2020-06-01 07:52:43 · 596 阅读 · 0 评论 -
[Flume传数据案例]: Kafka Source接收Avro Sink发送, Avro Source接收 FileRoll Sink记录下来
Kafka Source -->Avro Sink–>Avro Source -->FileRoll Sink案例原理图:写好配置文件example10.properties# 声明基本组件 Source Channel Sink example10.propertiesa1.sources = s1a1.sinks = sk1a1.channels = c1# 配置Source组件,从Socket中接收⽂本数据a1.sources.s1.type = org.apach原创 2020-05-26 18:19:04 · 395 阅读 · 0 评论 -
Flume: ------ Channel-通道、Memory、JDBC、Kafka、File Channel。
Apache Flumeflume官方用户指南网址Channel-通道Memory Channel将Source数据直接写入内存,不安全,可能会导致数据丢失。transactionCapacity <= capacitya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100JDBC Channel事件存储在数据库支持的持久性存储中。原创 2020-05-26 17:25:04 · 855 阅读 · 0 评论 -
Flume: ------ File Roll Sink、HDFS Sink、Kafka Sink
File Roll Sink可以将采集的数据写入到本地文件编写example6.properties文本# 声明基本组件 Source Channel Sink example6.propertiesa1.sources = s1a1.sinks = sk1a1.channels = c1# 配置Source组件,从Socket中接收⽂本数据a1.sources.s1.type = netcata1.sources.s1.bind = Centosa1.sources.s1.port原创 2020-05-19 13:50:24 · 1448 阅读 · 3 评论 -
Flume: ------ Avro Source、Exec Source、Taildir Source、Kafka Source等
Source-输⼊源Avro Source创建 example2.properties文本# 声明基本组件 Source Channel Sink example2.propertiesa1.sources = s1a1.sinks = sk1a1.channels = c1# 配置Source组件,从Socket中接收⽂本数据a1.sources.s1.type = avro...原创 2020-05-06 11:16:30 · 287 阅读 · 0 评论 -
Flume: ------ 概述架构、安装、快速入门案例
Apache FlumeFlume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制,具有强大的功能和容错能力。它使用一个简单的可扩展数据模型,允许在线分析应用程序。...原创 2020-05-05 20:53:54 · 174 阅读 · 0 评论