![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
薛定谔的猫不吃猫粮
这个作者很懒,什么都没留下…
展开
-
解决 Error: java.io.EOFException: Premature EOF from inputStream 问题
解决 Error: java.io.EOFException: Premature EOF from inputStream 问题一、问题1.问题过程在日志解析任务过程中,突发报错,任务一直都很稳定,怎么回突然报错了呢?心头一紧2.详细错误类型:查看日志发现如下错误21/11/18 14:36:29 INFO mapreduce.Job: Task Id : attempt_1628497295151_1290365_m_000002_2, Status : FAILEDError: java原创 2021-11-18 15:21:07 · 1840 阅读 · 0 评论 -
flume采集日志 异常停止之后自动重启
由于业务端日志采集格式不规范,经常会产生各种异常导致flume停止工作,如果对这些参数格式一一进行校验,影响采集速度,日志数据有一定的容错性。编一个一个脚本,不断监控flume运行状况,遇到异常,自动重启flume。#!/bin/bash export FLUME_HOME=/opt/flumewhile truedopc=`ps -ef | grep kafka-flume-hdfs.conf | grep -v "grep" | wc -l` if [[ $pc -lt 1 ]]the原创 2021-10-15 15:57:13 · 788 阅读 · 0 评论