Flume报错:org.apache.flume.EventDeliveryException: java.lang.NullPointerException: Expected timestamp

原创 2018年04月16日 20:16:24

场景:flume处理数据到HDFS,文件名如:/data/flume/logs201804160805

代码:sink端

a1.sinks.k1.type=hdfs
a1.sinks.k1.hdfs.path=hdfs://hadoop:9000/data/flume/logs/%Y%m%D%H%M
a1.sinks.k1.hdfs.batchSize=10 
a1.sinks.k1.hdfs.useLocalTimeStamp = true  //在此处添加这个参数报错解决
a1.sinks.k1.hdfs.filePrefix=page-views
a1.sinks.k1.hdfs.fileType= CompressedStream 
a1.sinks.k1.hdfs.writeFormat=Text
a1.sinks.k1.hdfs.codeC=bzip2
a1.sinks.k1.hdfs.round=true
a1.sinks.k1.hdfs.roundValue=1
a1.sinks.k1.hdfs.roundUnit=minute

总结
每个文件的记录,都需要时间戳,该参数调节为使用本地时间

  • hdfs.useLocalTimeStamp
    Use the local time (instead of the timestamp from the event header) while replacing the escape sequences.
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_39216383/article/details/79965775

大数据第三季--flume(day2)

大数据第三季--flume(day2)
  • 2017年02月09日 15:23

flume遇见的一些问题

我想要做的是需要将本地文件夹目录下的文件传输到hdfs上, 1.首先,安装flume工具 2.配置flume的配置文件 flume]# ls bin conf docs etc lib...
  • qq_32967001
  • qq_32967001
  • 2017-03-27 16:29:51
  • 1325

Flume-ng-1.4.0安装及运行遇到问题总结

1、到官方网上下载apache-flume-1.4.0-bin.tar.gz
  • panguoyuan
  • panguoyuan
  • 2014-09-25 18:27:45
  • 13475

java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null

使用flume的时候出现的问题。sink是hdfs,然后使用目录自动生成功能。出现如题的错误,看官网文档说的是需要在每个文件记录行的开头需要有时间戳,但是时间戳的格式可能比较难调节,所以亦可设置...
  • fansy1990
  • fansy1990
  • 2014-03-13 11:05:13
  • 7051

【Apache Flume系列】Flume-ng failover 以及Load balance测试及注意事项

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并...
  • WeiJonathan
  • WeiJonathan
  • 2014-08-14 15:40:31
  • 6679

记flume部署过程中遇到的问题以及解决方法(持续更新)

项目需求是将线上服务器生成的日志信息实时导入kafka,采用agent和collector分层传输,app的数据通过thrift传给agent,agent通过avro sink将数据发给collect...
  • lijinqi1987
  • lijinqi1987
  • 2017-08-21 16:52:00
  • 3371

flume-ng安装及运行时出现的错误

1、到官方网上下载apache-flume-1.4.0-bin.tar.gz 2、解压安装包     tar -zxvf apache-flume-1.4.0-bin.tar.gz 3、配置环境...
  • wackycrazy
  • wackycrazy
  • 2015-04-19 15:35:37
  • 1444

log4j flume

描述最近使用 log4jFlumeAppender ,通信一会就会中断,自己将 log4jFlumeAppender 改造了2星期,重新看了 NettyAvroRpcClient 和 Netty 源码...
  • lanmo555
  • lanmo555
  • 2016-01-06 19:26:03
  • 1005

【Flume】【源码分析】flume中FailoverSinkProcessor容错处理机制源码分析

FailoverSinkProcessor顾名思义是flume中sink输出容错的处理器 继承自AbstractSinkProcessor 先看下整体源码 /** * Licensed to the...
  • chiweitree
  • chiweitree
  • 2015-01-08 10:33:13
  • 1681

使用flume中遇见的问题整理

先发一下牢骚: 这玩意真恶心遇见个问题都搜不到。。。。 要么就是英文的,比啃牛皮还难受。 所以写一个汇集, 要是大家有新问题或者别的解决方法,有什么不对的地方,尽情留言拍砖,大家共同学习进步 ...
  • uniquechao
  • uniquechao
  • 2013-02-19 15:48:37
  • 12503
收藏助手
不良信息举报
您举报文章:Flume报错:org.apache.flume.EventDeliveryException: java.lang.NullPointerException: Expected timestamp
举报原因:
原因补充:

(最多只允许输入30个字)