Flume 长时间运行，Hive Sink 停止工作问题处理

最新推荐文章于 2022-11-11 14:50:38 发布
最新推荐文章于 2022-11-11 14:50:38 发布
阅读量1.4k 收藏 2
点赞数 1
分类专栏： flume 文章标签： flume hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hejiangtju/article/details/80366832
版权
本文介绍了在使用 Flume 从 Kafka 向 Hive 导入数据时，Hive Sink 出现夜间停止工作的问题。通过分析源码，发现了异常处理不充分和心跳发送时机不当的问题。提出了解决方案，包括增强异常捕获和在空闲 HiveWriter 上发送心跳，并给出了修复代码的链接。经过测试，这些问题得到了有效解决。
摘要由CSDN通过智能技术生成

1. 问题现象

在使用 Flume 将数据从 Kafka 加载到 hive 的过程中，我们遇到一个问题：每天晚上 Flume 的 Hive Sink 总会报错，然后停止工作：

15 juil. 2016 21:40:43,008 INFO [hive-hive1-call-runner-0] (org.apache.flume.sink.hive.HiveWriter$2.call:238) - Sending heartbeat on batch TxnIds=[3755...3764] on endPoint = {metaStoreUri=...
15 juil. 2016 22:12:21,001 INFO [hive-hive1-call-runner-0] (org.apache.flume.sink.hive.HiveWriter$2.call:231) - Sending heartbeat on batch TxnIds=[3785...3794] on endPoint = {metaStoreUri=...

15 juil. 2016 22:27:56,963 INFO 

最低0.47元/天 解锁文章
群演老何@天津
关注
专栏目录
Flume 各种坑
语不惊人死不休
01-04 4万+
1. 背景 最近一段时间在做安全大数据分析环境搭建以及初步的数据采集、录入工作，这个过程中用到了 Hadoop+HBase+Flume+Kafka这套大数据分析的工具。在数据分析环境架构中，Flume-1.7.0 主要用来收集各种来源、形式的数据，并把数据传给 Kafka 集群，由 Kafka 集群统一分发给 HBase集群。 用 Flume ，主要用到的 Source 是 spool
flume采集日志 异常停止之后自动重启
weixin_52918377的博客
10-15 838
由于业务端日志采集格式不规范，经常会产生各种异常导致flume停止工作，如果对这些参数格式一一进行校验，影响采集速度，日志数据有一定的容错性。编一个一个脚本，不断监控flume运行状况，遇到异常，自动重启flume。 #!/bin/bash export FLUME_HOME=/opt/flume while true do pc=`ps -ef | grep kafka-flume-hdfs.conf | grep -v "grep" | wc -l` if [[ $pc -lt 1 ]] the
【Flume中间件】（9）sink组故障转移
CSDN 精品推荐
06-10 291
sink组故障转移 有的时候需要设置故障转移，就是比如说现在有一个channel，如果只设置一个的话，一旦该sink端崩掉的话就会造成输出数据中断，所以需要就是配置两个sink，并且设置优先级，优先发送哪个，如果优先级高的sink没有问题的话，channel的数据就会一直发送到它，但是一旦它崩掉，channel就会发送到sink组中另外一个优先级高的sink，如果过了阈值时间，优先级最高的起来的话，channel会继续选择它进行发送数据。 下面是flume的配置，flume1会配置两个sink，并设置优先级
任务25：25_Flume高级_Sink组故障转移（案例测试）
有上进心的阿龙
01-07 209
从前面获取到数据然后通过sink组的负载均衡的策略，将数据发送到flume1,2中去，它俩最终都打印到控制台。更方便查看。 在job目录中创建group2文件夹，里面新建三个conf文件，flume1.conf,flume2.conf,flume3.conf 开始写配置文件，flume1.conf 1、写声明和source 使用netcat source 2、写channel: 3、写sink 两个都是avro sink 4、写bind 一个channel对应两个sink 5、配置组的策略sin
flume 启动不输出运行日志
热门推荐
哎幽的成长
10-24 1万+
问题以前碰到的一个问题，算是一个小问题，flume 用命令./flume-ng agent -c /opt/apps/flume/conf -f /opt/apps/flume/conf/syslog_tcp.conf -n a1 -Dflume.root.logger=INFO,console启动的时候，flume使用的log4j不起效，不会输出日志到日志文件。解决在启动时去掉-Dflume.ro
Flume和Hive集成之hive sink
weixin_42455459的博客
12-19 1084
1.Hive表必须设置bucket并且 stored as orc。 对hive表的要求 a：表必须是事物表 b：表必须是分区表，分桶表 c: 表stored as orc clustered分桶、transactional事务、orc存储格式。 [root@master bin]# ps -ef|grep mysql root 23856 19418 0 00:41 pts/2 00:00:00 /bin/sh ./mysqld_safe mysql 239...
Flume sink hive Flume对接Hive（Sink）遇到的坑，以及最终放弃hive选用hdfs。欢迎讨论指点
MannerXu的博客
03-18 735
项目中打算使用Flume把数据直接传到Hive表而不是HDFS上，使用Hive作为Sink，Flume版本为1.9.0。 前期启动遇到各种报错： NoClassDefFoundError: org/apache/hadoop/hive/ql/session/SessionState NoClassDefFoundError: org/apache/hadoop/hive/cli/CliSessionState NoClassDefFoundError: org/apache/hadoop/hive/
flume-hive-sink-1.8.0.jar
07-01
flume1.8.0 采集日志入库到hive，后台日志报错，是心跳bug，此包为修复jar包
Flume汇入数据到Hive&Hbase
最新发布
qq_53114527的博客
11-11 889
主要讲述Flume汇入数据到Hive&Hbase的方法及操作
Flume安装与工作机制
zhm的博客
01-24 669
Flume 1.Flume的概述 日志采集框架Flume是一个分布式、可靠和高可用的海量日志采集、聚合和传输的系统，Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 2.Flume工作机制 Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所
Flume的使用问题及解决方案
北京小辉
04-17 4133
在使用flume-ng时，踩了很多坑，现在来说一下，希望大家绕过坑，到达熟练使用flume的目的 第一坑：不能正确解码文件，造成不能正确的重命名文件，抛出bug后，之后所有文件都不可以被flume收集，是一个比较严重的错，引起原因是flume使用NIO方式读取文件，将读取的文件以UTF-8的编码读取，在linux状态下，默认是按照GBK编码方式存储文件，所以读取时就会遇到字符长度不够问题，解决办
flume 崩溃问题
问道至简
04-23 1827
flume 如果使用 exec , tail -f 方式收集日志，会有已定概率丢失，崩溃。解决办法： 1 增加 restart 属性配置 ，可以稳定运行近一个月。 2 配置第二到保险，使用 crontab -e 增加一个linux 的守护任务 shell 脚本。
flume子进程容易死亡的问题解决以及kafka对单条消息的限制
weixin_43255026的博客
12-27 1237
优化flume： 用flume接受tomcat的日志文件catalina.out，将接受的日志文件发送到kafka主题。问题是flume经常挂，临时解决方法是写脚本自动拉起。 flume主进程不容易挂，容易挂的是子进程，也就是读取tomcat文件的命令所再进程容易挂。 flume配置文件和拉起脚本如下： flume配置文件： # Name the components on this age...
记录Flume使用中遇到的坑
weixin_45436471的博客
11-18 606
Flume使用中遇到的坑 1.avro sink 连接失败 问题： 在实现自定义拦截器中，分别开启slave1、slave2，master的flume任务时，master和slave1有连接成功的日志，但master和slave2死活连不上。检查并修改了配置文件和自定义拦截器的Java代码好多次后依然连不上。 解决： 单独写了个以master的netcat作为source，slave2作为sink，slave2的控制台作为接收到master的消息的输出sink做测试，发现还是连不上，所以排除了配置文件和代码
大数据之flume：常见问题和解决办法
qq_39436781的博客
09-22 1251
在进行flume订阅kafka产生的错误：org.apache.flume.conf.ConfigurationException 解决办法：我安装的flume是1.5，但是配置文件写法参考的是1.7，flume版本不同，配置文件的写法也不同，所以运行报错，改成1.5的配置写法就可以了(目前没找到1.5中对于kafka.topic.regex这种主题名称正则匹配的方式，只好先采用多sour...
Flume Sink组、Sink处理器
SmallCatBaby的博客
06-01 862
前言 Sink运行器（Sink Runner）运行一个Sink组（Sink Group），Sink组可以含有一个或多个Sink。如果组中只存在一个Sink，那么没有组将会更有效率。Sink运行器仅仅是一个询问Sink组（或Sink）来处理下一批事件的线程。每个Sink组有一个Sink处理器（Sink Processor），处理器选择组中的Sink之一去处理...
Hive Transaction 事务性 小试
weixin_33951761的博客
07-14 1579
2019独角兽企业重金招聘Python工程师标准>>> ...
FlumeNG日志收集与Hive数据仓库实战
"这篇内容主要介绍了日志收集工具FlumeNG在海量数据处理中的应用，以及与Hive数据仓库的结合。文中提到了Hadoop大数据课程，并通过暴风公司的数据仓库案例展示了大数据处理的规模和需求。同时，文章还探讨了数据挖掘...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值