Flume
一只土肥圆的猿
我是谁?我在哪?
-- 起来写代码!!!
展开
-
Flume采集数据到HDFS中,开头信息有乱码
Flume采集数据,在生成的HDFS文件中,总是有“SEQ!org.apache.hadoop.io.LongWritable"org.apache.hadoop.io.BytesWritable??H謺NSA???y”信息,在Flume文档中介绍,hdfs.fileType默认为SequenceFile,将其改为DataStream就可以按照采集的文件原样输入到hdfs,加一行a1.sinks....原创 2018-03-15 10:45:25 · 1388 阅读 · 0 评论 -
Kafka监控工具KafkaOffsetMonitor配置及使用
KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具,其配置和使用特别的方便。源项目Github地址为:https://github.com/quantifind/KafkaOffsetMonitor。 一、KafkaOffsetMonitor的使用 因为完全没有安装配置的过程,所以直接从KafkaOffsetMonitor...原创 2018-03-16 14:16:03 · 1906 阅读 · 0 评论 -
Flume配置参数说明
channelType:hdfspath:写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表达式。filePrefix: 默认值:FlumeData 写入hdfs的文件名前缀,可以使用flume提供的日期及%{host}表达式。fileSuffix:写入hdfs的文件名后缀,比如:.lzo .l...原创 2018-03-14 17:18:49 · 2555 阅读 · 0 评论 -
Flume基础学习笔记
一、什么是flumeFlume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。二、flume特点flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Event由Ag...原创 2018-03-14 17:20:06 · 308 阅读 · 0 评论 -
Flume数据采集常用案例
flume的案例 1)案例1:Avro Avro可以发送一个给定的文件给Flume,Avro 源使用AVRO RPC机制。 a)创建agent配置文件?1234567891011121314151617181920212223root@m1:/home/hadoop#vi /home/hadoop/flume-1.5.0-bin/conf/avro.conf a1.sour...原创 2018-04-26 15:59:53 · 1704 阅读 · 0 评论 -
Flume中的HDFS Sink配置参数说明
Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。typehdfspath写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表达式。filePrefix默认值:FlumeData写入hdfs的文件名前缀,可以使用flume提供的日期及%{host...原创 2018-04-26 16:33:55 · 325 阅读 · 0 评论 -
Flume增量采集mysql数据库数据到HDFS、Kafka
软件版本号 jdk1.8、apache-flume-1.6.0-bin、kafka_2.8.0-0.8.0、zookeeper-3.4.5需要向apache-flume-1.6.0-bin/lib 放入两个jar包flume-ng-sql-source-1.3.7.jar -->flume的mysql source 下载地址: https://github.com/keedio/...原创 2018-07-26 17:20:48 · 4661 阅读 · 15 评论