![](https://img-blog.csdnimg.cn/20190925084319884.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flume
storm_fury
本是青灯不归客,却因浊酒留红尘
展开
-
Flume 采集 kafka 数据实时写入 Kudu
####### 创建 JsonKuduOperationsProducer.java 用于处理 Json 字符串写入Kuduimport com.alibaba.fastjson.JSON;import org.apache.flume.Context;import org.apache.flume.Event;import org.apache.flume.FlumeException;import org.apache.flume.annotations.InterfaceAudience..原创 2020-05-18 19:10:55 · 1410 阅读 · 0 评论 -
Flume 消费或生产消息到 Kafka 遇到的相关问题及解决
背景:在使用的 Flume 消费或生产添加了SASL_SSL认证的 Kafka 时,遇到以下问题。其中 Flume 本身自带 Kafka 依赖是0.9.0版本, Kafka 集群是0.10.0版本。遇到的相关问题问题一:由于 Flume 本身自带 Kafka 依赖是0.9.0版本, Kafka 集群是0.10.0版本,版本的不一致。...19/10/18 13:05:18 ...原创 2019-10-18 15:19:11 · 2720 阅读 · 0 评论 -
Flume自定义拦截器
package com.hnb.data.immi.flume.interceptor;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.*;import org.apache.flume.Context;import org.apache.flume.Event;im...原创 2018-12-14 13:26:57 · 2317 阅读 · 0 评论 -
Flume自定义Sink到MySQL数据库
package com.yimen.data.flume.sink;import com.alibaba.fastjson.JSON;import com.google.common.base.Preconditions;import com.google.common.base.Throwables;import com.google.common.collect.Lists;imp...原创 2018-12-14 13:13:20 · 3212 阅读 · 8 评论 -
Flume采集一个数据源对应多个channel,多个sink
Flume采集一个数据源对应多个channel,多个mysqlsink(自定义sink)a1.sources= r1a1.channels= c1a1.sinks= s1 s2 s3# flume 1.6.0#a1.sources.r1.type = exec#a1.sources.r2.shell = /bin/bash -c#a1.sources.r1.command = t...原创 2018-12-14 13:04:48 · 4161 阅读 · 3 评论 -
flume断点续传配置
flume-1.6a1.sources = r1 r2 r3a1.sinks = k1a1.channels = c1a1.sources.r1.type = execa1.sources.r3.shell = /bin/bash -ca1.sources.r3.command = tail -n +$(tail -n1 /root/data/log1) -F /var/log/...原创 2018-10-31 19:12:10 · 2404 阅读 · 0 评论 -
Flume遇到的一些问题
flume部件及参数batchData的大小由参数batchSize控制;putList和takeList的大小由参数transactionCapacity控制;Channel总容量大小由参数capacity控制;参数说明Source的batchSize参数决定Source一次批量运输到Channel的event条数,适当调大这个参数可以提高Soure搬运Event到Chan...原创 2018-10-16 19:10:37 · 2455 阅读 · 0 评论 -
flume安装文档
下载flume安装包下载地址:http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz解压到指定文件夹下[root@hadoop01 local]# tar –zxvf apache-flume-1.8.0-bin.tar.gz[root@hadoop01 local]# ln –s...原创 2018-10-12 13:30:03 · 1892 阅读 · 0 评论 -
Flume日志采集框架
1. 概述Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件,socket数据包、文件夹等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。一般的采集需求,通过对flume的简单配置即可实现Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大...原创 2018-10-12 13:12:46 · 1923 阅读 · 0 评论