解决Flume数据采集中出现的问题：Expected timestamp in the Flume event headers, but it was null

最新推荐文章于 2022-06-23 12:50:23 发布
最新推荐文章于 2022-06-23 12:50:23 发布
阅读量1.3k 收藏 1
点赞数 1
分类专栏： 数据仓库 文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mcajax/article/details/104962496
版权

使用Flume向HDFS采集数据时报错：

java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null
在这里插入图片描述
解决方法是在flume的配置文件中添加时间戳配置项：

a1.sinks.k1.hdfs.useLocalTimeStamp = true
剁椒鱼不要头
关注
专栏目录
Flume05：【案例】采集网站日志上传至HDFS
weixin_40612128的博客
03-04 1531
前面我们讲了两个案例的使用，接下来看一个稍微复杂一点的案例： 需求是这样的， 1、将A和B两台机器实时产生的日志数据汇总到机器C中 2、通过机器C将数据统一上传至HDFS的指定目录中 注意：HDFS中的目录是按天生成的，每天一个目录 看下面这个图，来详细分析一下 根据刚才的需求分析可知，我们一共需要三台机器 这里使用bigdata02和bigdata03采集当前机器上产生的实时日志数据，统一汇总到bigdata04机器上。 其中bigdata02和bigdata03中的source使用基于file的so
flume搜集数据到hadoop HA可能出现的问题及解决办法
蘑菇丁的专栏
11-20 942
把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的conf目录去，把hadoop-hdfs-2.7.1.jar复制到 Flume  lib目录。 ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process fail...
解决Flume数据采集中出现的几个问题
ForestCat的专栏
06-23 1653
22/06/23 12:08:58 ERROR hdfs.HDFSEventSink: process failed sinkjava.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null
Expected timestamp in the Flume event headers, but it was null：搭建flume多路复用写数据到hdfs时所遇问题与解决
破晓的成长之路
09-19 2029
在进行本机实践时遇到的错误具体见这篇博客：flume复制和多路复用简单示例（监控日志文件对接hdfs、kafka、本地文件系统） 错误如下： 19/09/17 03:59:34 ERROR hdfs.HDFSEventSink: process failed java.lang.NullPointerException: Expected timestamp in the Flume event ...
Flume timestamp拦截器
蔡先生的专栏
03-14 1688
Flume拦截器简介 Flume拦截器就是一个插件，可以在从信源到信宿传输事件的过程中操作和修改事件。大多数拦截器要么在事件的基础上加上一些元数据要么基于某些规则删除一些事件。 Flume拦截器例子 1.创建agent配置文件 把下列内容存入agent5.conf,并保存到Flume的工作目录/opt/flume/bin下面 agent5.sources = netsource
flume —— NullPointerException: Expected timestamp in the Flume event headers, but it was null
idream
03-25 1019
如题错误： 可能大多人送所这个问题都会告诉你： 修改hdfs-sink： a1.sinks.k1.hdfs.useLocalTimeStamp = true 的确，这么做的确也可以解决上述问题，但你确定这是你想要的结果么？ 解释： 首先看错，很明显，event的header中获取timestamp属性为空，就是你sink的时候需要使用timestamp的属性。 一般使用这个属性的场景应该都是 a1.sinks.k1.hdfs.path = hdfs://nameservice/*/
java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null
fansy1990的专栏
03-13 9009
使用flume的时候出现的问题。sink是hdfs，然后使用目录自动生成功能。出现如题的错误，看官网文档说的是需要在每个文件记录行的开头需要有时间戳，但是时间戳的格式可能比较难调节，所以亦可设置
flume 简介和安装
let it go的博客
08-03 424
1.flume 简介 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。它使用简单的可扩展数据模型，允许在线分析应用程序。 2.数据流模型 Flume事件被定义为具有字节有效负载和可选字符串属性集的数据流单元。 Flume代理是一个（JVM）进程，...
flume遇见的一些问题
慧子的博客
03-27 4670
我想要做的是需要将本地文件夹目录下的文件传输到hdfs上， 1.首先，安装flume工具 2.配置flume的配置文件 flume]# ls bin conf docs etc lib tools 在conf的目录下创建一个配置文件fk flume]# cd conf/ [root@hdp-gp-dk01 conf]# ls agent flume.conf
Flume连接HDFS和Hive
柯西柯西Cauchy
03-27 1728
Flume连接HDFS 1、进入Flume配置 2、配置flume.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # sources a1.sources.r1.type = netcat a1.sources.r1.bind ...
【flume】高可用和日志采集会出现的其他问题
EdgeCity_TF的博客
01-10 2393
【flume】高可用和日志采集会出现的其他问题flume高可用详解1.假设现在有两台日志采集服务器，每台服务器上都部署Agent（第一级），将数据汇总到第二级Agent上2.增加一个节点，部署agent04。假设agent03宕机，agent01、agent02的k2会自动切换到agent04上。从而解决因agent03宕机后无法及时采集到数据的问题3.具体配置如下1）agent01、agent0...
关于flume中涉及到时间戳的错误解决,Expected timestamp in the Flume even
weixin_30797199的博客
05-14 835
在搭建flume集群收集日志写入hdfs时发生了下面的错误： java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null at com.google.common.base.Preconditions.checkNotNull(Precon...
flume自定义拦截器：根据业务数据中的时间戳实现数据在hdfs中的正确分区
qq_34864753的博客
03-20 1355
业务场景：埋点数据落hive表，且埋点数据中带有数据产生时的时间字段 业务流程：kafka->flume->hdfs->hive 问题：晚到的埋点数据会落到哪个分区中 9点产生的埋点数据 由于数据上报或者flume sink的延迟会落到9点的分区中么？答案是不会的 flume抽取到的数据也成为event，event分为header和body，如果你flume sink...
05_Flume_timestamp interceptor实践
weixin_30654583的博客
12-03 129
1、目标场景 2、Flume Agent配置 # specify agent,source,sink,channel a1.sources = r1 a1.sinks = k1 a1.channels = c1 # handler将根据JSON规则，提取出header、body，然后生成flume event的header、body a1.sources.r1.ty...
flume未解之谜
weixin_30295091的博客
08-09 67
a1.sources = r1a1.sinks = k1a1.channels = c1 a1.sources.r1.type = execa1.sources.r1.command = tail -f /sinkslog/1.txt a1.sinks.k1.type=hdfsa1.sinks.k1.hdfs.path=hdfs://flume/log/%Y-%m-%j/%H:%M:%...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值