flume
果不其燃
这个作者很懒,什么都没留下…
展开
-
Flume-kafka source和kafka sink
Flume-kafka source和kafka sink一、Flume-kafka sourcea1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource //kafka类型a1.sources.source1.kafka.bootstrap.servers = kafka-1:9093,kafka-2:9093,kafka-3:9093 //kafka集群地址,高可靠性,服务器地址用逗号隔开a1.sources.sou原创 2020-07-25 10:31:52 · 978 阅读 · 0 评论 -
Flume-断点续传taildir
Flume-断点续传taildir一般的flume日志采集方式会出现重复采集的情况,比如:当某个flume应用挂掉后,重启应用,就会将采集过得日志重复采集。解决办法:采用断点续传taildir,记录上一次的采集位置,重启应用后,从记录的位置开始采集。#*********** set agent *************a1.sources=r1a1.channels=c1a1.sinks=k1#********* set sources **********a1.sources.r1.t原创 2020-05-26 15:26:01 · 1046 阅读 · 0 评论 -
Flume-拦截器interceptors
Flume-拦截器interceptors一、timestamp和hostname拦截器#set agent namea1.sources=r1a1.channels=c1a1.sinks=k1#set channelsa1.channels.c1.type=memorya1.channels.c1.capacity=10000a1.channels.c1.transactionCapacity=1000#set sourcesa1.sources.r1.type=avroa1.原创 2020-05-25 16:41:24 · 367 阅读 · 0 评论 -
Flume-失效备援failover
Flume-失效备援failover一、失效备援架构图二、工作原理如果agent_3和agent_4其中有一个failover失效。可以自动切换下一级agent。三、示例代码1、agent_1.conf和agent_2.conf文件相同# nama the components on this agenta1.sources = r1a1.channels = c1a1.s...原创 2020-04-13 15:56:34 · 210 阅读 · 0 评论 -
Flume-使用AVRO进行级联采集数据
Flume-使用AVRO进行级联采集数据一、架构图二、工作原理Agent之间采用avro序列化方式进行数据传输。三、示列代码1、agent_1.conf文件# nama the components on this agenta1.sources = r1a1.channels = c1a1.sinks = k1#配置sourcea1.sources.r1.type ...原创 2020-04-13 12:12:21 · 617 阅读 · 0 评论 -
Flume-三大核心组件
Flume-三大核心组件一、概念Flume是一个高可用,高可靠,分布式的海量日志采集、聚合和传输的工具。Flume中最简单的部署单元是Flume Agent,Agent是一个Java应用程序。其中Agent包括三大核心组件,分别是source、channel和sink。将数据从数据源采集过来,送到目的地,为保证输送成功,在送到目的地前,先缓存数据,待数据到达目的地后,删除缓存的数据。e...原创 2020-04-12 23:05:12 · 7872 阅读 · 0 评论 -
使用Flume工具采集数据到SparkStreaming应用程序
从HDFS中使用Flume工具采集数据到SparkStreaming应用程序原创 2019-12-04 09:52:46 · 129 阅读 · 0 评论 -
使用Flume工具采集数据到HDFS
使用Flume工具采集数据到HDFS两种方案原创 2019-12-04 10:44:21 · 372 阅读 · 0 评论