Flume数据采集项目常见问题——（二）

平平无奇程序猿

已于 2023-04-20 14:04:17 修改

阅读量500

点赞数

分类专栏：大数据相关——Flume采集项目文章标签： flume hadoop 大数据

于 2023-04-20 14:02:22 首次发布

本文链接：https://blog.csdn.net/qq_48777037/article/details/130263352

版权

大数据相关——Flume采集项目专栏收录该内容

3 篇文章 0 订阅

订阅专栏

1 flume 写 HDFS，如何解决数据漂移

2 flume 写 HDFS，12个小时滚动一次是怎么实现

3 flume 写 HDFS，小文件问题

1 flume 写 HDFS，如何解决数据漂移

flume传输以event作为传输单位，event由header和body组成。

数据生成时往往带有时间戳ts，通过拦截器将body中的ts时间戳，写入header中timestamp，这样HDFS Sink在落盘的时候可以按照timestamps来落盘。

2 flume 写 HDFS，12个小时滚动一次是怎么实现

HDFS Sink中配置path时有 %Y-%m-%d，实现每天滚动一个文件。

round.unit = hour hour / minute / second

round.value = 12

加上这两个参数配置之后，%t 就会生效，path的路径 %Y-%m-%d/%t，可以实现12个小时滚动一个文件夹。

3 flume 写 HDFS，小文件问题

配置文件中加入

hdfs.rollInterval = 1000（时间s）

hdfs.rollSize = 128M（大小）

hdfs.rollCount = 0（0表示禁用，event数量）

rollInterval最大不能超过30分钟

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

平平无奇程序猿

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Flume数据采集项目常见问题——（二）

flume传输小问题
复制链接

扫一扫

专栏目录

flume-使用KafkaChannel读取不到数据

epitomizelu的专栏

03-25

3010

使用TAILDIR监听日志写入KafkaChannel。配置如下： a1.sources = r1 a1.channels = c1 #描述source a1.sources.r1.type = TAILDIR a1.sources.r1.filegroups = f1 a1.sources.r1.filegroups.f1 = /opt/module/applog/log22/app.* a1.sources.r1.positionFile = /opt/module/flume/taildir_po

Flume监听数据时一切设置正常,却监听不到数据

格格颜心

08-14

2934

原因是之前错误配置的时候执行生成的Application占用了资源. 将不用的Application全部kill掉后,重新执行.一切正常! 类似的其他情况也可以先查看进程.把不用的进程关掉....

参与评论您还未登录，请先登录后发表或查看评论

Flume数据采集项目常见问题——（一）

qq_48777037的博客

04-17

1046

几个简单的和flume，maxwell传输相关的小问题

Flume: 数据采集机制

TangYuG的博客

09-08

1683

无论数据来自什么企业，或是多大量级，通过部署Flume，可以确保数据都安全、及时地到达大数据平台，用户可以将精力集中在如何洞悉数据上。Flume的定义Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。Flume支持在日志系统中定制各类数据发送方，用于采集数据；Flume提供对数据进行简单处理，并写到各种数据接收方的能力。简单的说，Flume是实时采集日志的数据采集引擎。

解决Flume数据采集中出现的几个问题

ForestCat的专栏

06-23

1578

22/06/23 12:08:58 ERROR hdfs.HDFSEventSink: process failed sinkjava.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null

Flume 数据采集实战

12-22

《Flume 数据采集实战》 Flume 是大数据领域中常用的数据采集工具，它能高效地从各种数据源收集数据，然后传输至其他组件，如 Spark 或 Kafka，以便进行进一步的分析处理。在日志分析场景下，Flume 常用于收集...

Kafka hdfs flume 数据采集实验

11-17

本实验的主题是“Kafka hdfs flume 数据采集实验”，涉及的关键技术包括Apache Kafka、Hadoop Distributed File System (HDFS) 和 Apache Flume，这些工具都是大数据生态中的重要组件。下面将详细阐述它们的功能、...

基于 Apache Flume 定制的数据采集工具.zip

最新发布

01-04

在这个名为"基于 Apache Flume 定制的数据采集工具.zip"的压缩包中，我们主要关注的是一个名为 "flume-collect-master" 的项目，这可能是一个包含了自定义Flume代理的源代码实现。Flume 提供了一个灵活的架构，允许...

kafka+flume 实时采集oracle数据到hive中.docx

08-11

基于Kafka+Flume实时采集Oracle数据到Hive中一、Kafka获取Oracle日志实时数据 Kafka是一种分布式流媒体平台，能够实时地从Oracle数据库中提取日志信息。为了实现这一点，需要先安装ZooKeeper和Kafka，然后配置...

flume数据采集端过滤工程

01-04

标题中的“flume数据采集端过滤工程”指的是一项利用Apache Flume进行数据采集，并在源头（采集端）实现数据过滤的技术实践。Apache Flume是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。它...

Flume（一）

chaohui2638457321的博客

12-06

607

Flume（一）服务：启动后监听某个端口，等待客户端连接，并处理客户端请求。客户端断开连接后，服务程序依然运行。工具：需要使用工具的功能时，启动程序。使用完毕后，工具程序可以直接关闭。框架：一个半成品软件，需要开发人员根据业务逻辑填写核心代码，组成完成的程序，提供工具或者服务的功能。是什么在数据处理场景中，数据的产生往往分散在时间空间不同的各个服务器上，需要将各个服务器的数据自动化采集到同一个HDFS集群，就需要使用自动化采集工具 flume是一个hadoop生态中的专用用来进行海量日志，收

Flume 学习笔记 - 使用Flume 监听netcat 指定端口无法获取信息的解决办法

阿倩要努力啊

11-19

1880

错误描述今天在搭建好flume之后，打算运行一个官方的案例，使用flume监控 netcat端口，但是一直获取不到数据，也不报错，一直找不到原因，然后当我关闭虚拟机重新打开以后，发现再次监控竟然可以用了！仔细思考了一下，然后查询了资料，发现原因可能是我之前打开flumeagent 报错，但是我直接使用ctrl + c 去关闭，但是这种方式是错误的，这种方法并不能直接关闭，然后...

业务数据采集_零点漂移处理方法(Flume+Kafka+HDFS)

狗不理的博客

10-02

3390

零点漂移

Flume之 HDFS Sink相关参数的使用注意点

qq_43437122的博客

10-16

2617

前言：Flume中HDFS Sink是我们用的比较多的，可是HDFS Sink的配置参数也挺多，看下官网给的参数。既然多那就要圈重点了： 1.使用hdfs sink时要配置两个最基本的参数：type和hdfs.path a1.sinks.k1.type = hdfs a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S 2.上传的文件的前缀：hdfs.filePrefix (建议添加) a1.sinks.k1.hdfs.filePrefi

Flume的使用问题及解决方案

北京小辉

04-17

4109

在使用flume-ng时，踩了很多坑，现在来说一下，希望大家绕过坑，到达熟练使用flume的目的第一坑：不能正确解码文件，造成不能正确的重命名文件，抛出bug后，之后所有文件都不可以被flume收集，是一个比较严重的错，引起原因是flume使用NIO方式读取文件，将读取的文件以UTF-8的编码读取，在linux状态下，默认是按照GBK编码方式存储文件，所以读取时就会遇到字符长度不够问题，解决办

flume运行错误解决（三）接收不到数据

bigwood99的博客

06-15

2451

使用了官网一个简单例子配置文件，运行flume后，未报错，但警告没有配置filter。尝试发送数据，发现控制多台没有输出信息。做了如下尝试： Try 1:改其他java版本以及软件包原来的java是yum安装的，下载了一个1.8版，然后修改java环境变量。结果：无效。 try 2:更换版本先后使用1.7和1.8做测试两个版本均使用相同配置。 flume根目录使用软连接方式指向一个名字为flume的文件。运行正常。 try 3:重新解包1.9版，并按1.7方式配置还行

大数据疑难杂症-使用CDH启flume他有时候监听不到文件夹数据(CDH的一个bug)

weixin_45154559的博客

06-03

567

放到一个shell脚本里面,加入到linux定时器当中去,定时的去启一下 linux定时器

解决flume采集文件写不到hdfs里面问题

晓风岚月

03-03

8160

困惑了我一晚上的问题，终于解决了！！！ Flume监听整个目录在我新建的.conf文件里面，需要配置hdfs的路径 hdfs://192.168.122.20:8020/flume/upload/%Y%m%d/%H 注意：此处端口号应该和hadoop下的core-site.xml里面的配置一样，否则写入不到Hdfs，这里最为致命然后，开启flume先听端口问题解决 ...

【Flume 中Taildir Source问题与解决方案】

qq_44141629的博客

11-23

2605

Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传一.上传成功的文件修改后任可以检测到再续传二.源码中实现是否重新上传是由inode和file名共同决定，只要其中有一个变化就会重新上传，比如hive日志中每一天都会新生成一个hive.log,而前一天的hive.log会加上日期后缀，文件名会更改，这样导致flume重新采集上传，出现冗余如果采用只监控hive.log，不管后缀，不会有更名影响产生冗余，但是 inode肯定会变化，如果前一天晚上任务挂点，到了第二天看到，那

Flume数据采集详解：高可用日志收集系统

Flume是大数据领域中用于数据采集的重要工具，由Cloudera开发并已归入Apache项目。它是一个高可用、高可靠且分布式的系统，专门用于收集、聚合和传输海量日志数据。Flume具有灵活性，可以定制多种数据发送方来收集...