flume
RayBreslin
大数据开发、设计企业应用
展开
-
Flume报错:Sinks are likely not keeping up with sources, or the buffer size is too tight
一、问题描述 flume监控日志,同时,发送到flume监控的avro端口,当大量数据1000万条数据适合,flume监控日志的报错。然后,查看flume监控界面,发现flume监控界面消费突然消失。查看监控avro端口的agent的日志报错Avro source avro_source: Unable to process event batch. Exception follows.org.apache.flume.ChannelFullException: Space for com..原创 2020-05-27 21:33:31 · 1319 阅读 · 1 评论 -
flume报错:监控的access.log日志数据量大导致 org.apache.flume.ChannelFullException: Space for commit to queue could
一、问题描述通过flume监控日志,传输到kafka,进而streaming消费,但是,突然streaming消费不到信息。向kafka单独发送消息,streaming可以收到信息,所以确定是flume问题,查看flume日志Failed while running command: tail -F /opt/datas/access.logorg.apache.flume.ChannelFullException: Space for commit to queue couldn't be原创 2020-05-24 00:12:33 · 622 阅读 · 0 评论 -
(转)flume学习笔记(一):cdh5.14.2中安装,启动,测试flume
【转载原因:可以实现基本测试功能】【转载原文:flume学习笔记(一):cdh5.14.2中安装,启动,测试flume】转载 2020-05-23 10:18:32 · 259 阅读 · 0 评论 -
flume中调用自定义解析器报错:Unhandled error java.lang.UnsupportedClassVersionError:...Unsupported major.minor v
一、环境CDH5.15.2Jdk1.7二、问题描述将flume自定义ETL和分类器上传到集群,然后启动flume服务,结果报错:2020-03-16 03:07:53,094 ERROR org.apache.flume.node.PollingPropertiesFileConfigurationProvider: Unhandled errorjava.lang.Unsu...原创 2020-03-15 20:03:45 · 847 阅读 · 0 评论 -
(转)Flume中的HDFS Sink配置参数说明及输出压缩配置
【转载原因:flume的sink压缩配置】【转载原文:https://blog.csdn.net/helloxiaozhe/article/details/88417091】关键字:flume、hdfs、sink、配置参数滚动条件与输出hdfs的文件的压缩配置Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。channel t...转载 2020-03-15 09:34:04 · 1513 阅读 · 0 评论 -
flume(四):扇出
1.实现功能监控apache日志,将日志输出到hdfs上的两个文件位置,实现扇出功能。2.前提把hadoop的core-site.xml和hdfs-site.xml文件拷贝到flume的conf目录下3.flume的配置apache-hdfs2.propertiesa1.sources = r1a1.sinks = k1 k2a1.channels = c1 c2# ...原创 2018-10-21 12:08:49 · 414 阅读 · 0 评论 -
flume(五):sinkToHive
1.拷贝依赖jar包到flume的lib下面(1)将hive的lib下的所有依赖包都拷贝到flume/lib下面,最省事!cp /opt/modules/hive-1.2.1/lib/* /opt/modules/flume-1.7.0-bin/lib(2)将hive的hcatalog/share/hcatalog下面的jar拷贝过来cp /opt/modules/hive-1...原创 2018-10-21 16:33:26 · 822 阅读 · 0 评论 -
阿里云搭建大数据平台(8):flume安装部署和测试
一、flume安装1.解压缩 tar -zxvf flume-ng-1.6.0-cdh5.15.0.tar.gz -C /opt/modules/2.修改名字mv apache-flume-1.6.0-cdh5.15.0-bin/ flume-1.6.0-cdh5.15.0-bin/ 3.配置文件:conf/flume-env.sh(没有则重命名flume-env.sh...原创 2018-11-07 00:53:33 · 1564 阅读 · 0 评论 -
flume连接kafka报错 Excessively large list allocation request detected: 1818583411 items! Connection clos
1.问题描述:flume然后sinkTokafka,flume是1.6.0然后kafka是0.8.2.1。flume和kafka自测都没有问题,但是flumeTokafka就会:2018-11-21 01:09:16,119 (lifecycleSupervisor-1-1) [INFO - kafka.utils.Logging$class.info(Logging.scala:68)...原创 2018-11-21 21:08:42 · 2178 阅读 · 0 评论 -
flume向kafka中写入日志,报错WARN - org.apache.avro.ipc.NettyServer$NettyServerAvroHandler.exceptionCaught(Net
1.问题描述flume从端口44444获得数据,写入kafka中,然后报错,百思不得其解:2018-11-20 07:41:59,917 (New I/O worker #1) [WARN - org.apache.avro.ipc.NettyServer$NettyServerAvroHandler.exceptionCaught(NettyServer.java:201)] Unex...原创 2018-11-20 07:57:46 · 2297 阅读 · 0 评论 -
flume报错:Space for commit to queue couldn‘t be acquired. Sinks are likely not keeping up with sources
1.问题描述自己采用flume监控log文件,结果报错2018-11-26 19:32:04,687 (pool-5-thread-1) [ERROR - org.apache.flume.source.ExecSource$ExecRunnable.run(ExecSource.java:353)] Failed while running command: tail -F /opt/...原创 2018-11-26 23:10:06 · 2701 阅读 · 2 评论 -
flume(三):常见source、channel和sink总结
一、核心关注点因为flume版本不同,source、channel和sink的接口都是不一样的,所以需要使用对应版本的接口。本文以flume1.6.0为例,参考http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/FlumeUserGuide.html二、source1.avro source(1)功能...原创 2018-10-21 10:20:25 · 3286 阅读 · 0 评论 -
flume(二):sink to hdfs优化
1.优化 sink hdfs 类型 hdfs上的文件一般数据文件大小要大,而且文件数量是要少,所以可以解决flume文件数量多,文件大小太小的问题。 hdfs.rollInterval = 600 (这个地方最好还是设置一个时间) hdfs.rollSize = 1048576 hdfs.rollCount = 0 ...原创 2018-10-21 09:10:15 · 1629 阅读 · 0 评论 -
flume和kafka合成报错ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleS
0.环境:flume1.6.0和kafka_2.10-0.8.2.11.问题描述:flume和kafka集成,flume输出到kafka:(1)flume配置文件:agent1.sources=avro-sourceagent1.channels=logger-channelagent1.sinks=kafka-sink#define sourceagent1...原创 2018-09-23 21:41:41 · 4834 阅读 · 3 评论 -
flume使用pull方式整合Streaming问题: Unable to load sink type: org.apache.spark.streaming.flume.sink.SparkSin
参考官网:http://spark.apache.org/docs/2.1.0/streaming-flume-integration.html1.现象flume输入命令后bin/flume-ng agent \--name simple-agent \--conf conf \--conf-file conf/flume_pull_streaming.conf \-D...原创 2018-09-20 00:18:57 · 2053 阅读 · 0 评论 -
Flume和Kafka集成错误:Error reading field 'throttle_time_ms'
Flume和Kafka集成错误1.问题描述:flume向kafka写入数据的时候报错:2018-09-15 00:10:08,502 (kafka-producer-network-thread | producer-1) [ERROR - org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:130)]...原创 2018-09-15 00:26:41 · 773 阅读 · 0 评论 -
flume使用pull方式整合Streaming问题:Received an error batch - no events were received from channel!
1.现象flume使用pull方式整合Streaming,参考官网http://spark.apache.org/docs/2.1.0/streaming-flume-integration.html,配置好flume以及编写好streaming 程序后,发现使用telnet发送数据,报错:2018-09-20 06:30:33,384 (Spark Sink Processor Thr...原创 2018-09-20 06:35:42 · 630 阅读 · 0 评论 -
flume实例(一):监控目录
1.实现功能: 监控目录,一旦目录内增加数据,即传递到hdfs上。2.配置文件dir-sink-hdfs.properties#a1表示代理名称a1.sources=s1a1.sinks=k1a1.channels=c1#配置source1 监控目录是否有文件数据生成a1.sources.s1.type=spooldira1.sources.s1.spoolDi...原创 2018-10-08 18:36:21 · 1945 阅读 · 0 评论 -
flume实例(二):监控服务器日志
1.实现功能:监控日志增加,并且将日志信息存储到hdfs上2.flume和hdfs集成将hadoop对应jar包放到flume的lib目录下htrace-core-3.1.0-incubating.jarhadoop-hdfs-2.7.3.jarhadoop-common-2.7.3.jarhadoop-auth-2.7.3.jarcommons-io-2.4.jarc...原创 2018-10-08 18:39:21 · 1271 阅读 · 0 评论 -
flume实例(三):扇入
1.实现功能:扇入:flume可以实现从数以百计的Web servers中收集信息,然后将日志信息传送到十几个agent服务器,最后写到hdfs上。本文实例采用的就是实现这个扇入功能:flume1:收集4666端口信息,并输送到Avro Sinkflume2:监控日志信息,并输送到Avro Sinkflume3:收集flume1 Avro Sink和flume2 Avro Sink...原创 2018-10-08 18:51:34 · 955 阅读 · 0 评论 -
SparkStreaming(14):log4j日志-flume-kafka-SparkStreaming的整合
一、功能实现模拟log4j的日志生产,将日志输出到flume服务器。然后,通过flume将日志信息输出到kafka,进而Streaming可以从kafka获得日志,并且进行简单的处理。二、步骤1.目的:使用log4j将日志输按照一定格式输出,并且传递给flume服务器特定端口接收数据。然后使用kafka接收,并使用streaming处理。2.产生log4j日志:(1)在I...原创 2018-10-16 20:36:17 · 371 阅读 · 0 评论 -
kafka(十二):Kafka和flume整合
一、实现功能flume监控一个日志文件,并将数据传送给kafka,然后另外一个flume从kafka获得数据。二、实现步骤1.环境flume1.6.0kafka_2.10-0.8.2.1zookeeper3.4.52.flume监控日志,并且传送给kafka的配置文件test1_1.6.conf【参考:http://archive.cloudera.com/cdh5...原创 2018-10-19 20:40:41 · 684 阅读 · 0 评论 -
SparkStreaming(11):高级数据源flume-pull方式(生产)
1.环境(1)生产环境flume1.6.0spark2.1.0(2)下载对应依赖备注:一定要将依赖都放入flume的Flume’s classpath内,否则flume运行有问题。(遇到过坑~~~)(i) Custom sink JAR: groupId = org.apache.spark artifactId = spark-streaming-flume-si...原创 2018-10-11 07:18:28 · 216 阅读 · 0 评论 -
flume(一):安装和配置
一、安装1.解压缩tar -zxvf /opt/software/apache-flume-1.7.0-bin.tar.gz -C /opt/modules/2.配置文件flume-env.shexport JAVA_HOME=/opt/jdk1.8.0_1513.测试是否成功bin/flume-ng version结果: Flume 1.7.0 Sour...原创 2018-10-21 08:15:40 · 440 阅读 · 0 评论 -
kafka(三):flume和kafka集成实例
1.环境flume1.6.0+kafka_2.10-0.8.2.1+zookeeper-3.4.52.flume配置(1)flume从bigdata.ibeifeng.com:44444端口接受信息,传送给kafka配置文件:avro-memory-kafka.confavro-memory-kafka.sources = avro-sourceavro-memory-ka...原创 2018-09-17 07:35:07 · 637 阅读 · 0 评论