离线数仓项目中104上的flume同步增量表inc到hdfs上面时出错，db文件夹里面出现_inc‘毒瘤’文件的解决办法

最新推荐文章于 2024-07-06 18:15:16 发布
最新推荐文章于 2024-07-06 18:15:16 发布
阅读量496 收藏
点赞数
文章标签： flume hdfs 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Study_For_You/article/details/126116182
版权

做离线数仓时，用户日志和业务数据全量表同步正常，但是在同步增量表文件到hdfs文件时出现异常，一直出现_inc异常文件，且104上面的flume服务不关时会不停产生数据而导致_inc文件夹里面出现大量不合规范文件。
这个问题主要是104上面的flume问题，我采用的是maxwell产生数据到kafka，再由104上面的flume从kafka中采集数据到hdfs上面。（我的104的flume上面h还配有拦截器）出现_inc可能是flume中的lib文件夹的jar包不兼容错误，先发个文章占坑，后续我会再想想是哪个jar包不兼容。大家可以先参靠我的资源里面的离线数仓文件jar包。其中包括f3拦截器jar包。
之前遇到时简单做的笔记描述
我的flume文件

在这里插入图片描述
在这里插入图片描述

![在这里插入图片描述](https://img-blog.csdnimg.cn/6e5ba6701d724e259c5ef2ae8b22ea82.png#pic_center)
艾 伦
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
一次flume exec source采集日志到kafka因为单条日志数据非常大同步失败的踩坑带来的思考
HuaZi_Myth的博客
11-07 4424
本次遇到的问题描述，日志采集同步时，当单条日志（日志文件中一行日志）超过2M大小，数据无法采集同步到 kafka，分析后，共踩到如下几个坑。 1、flume采集时，通过shell+EXEC（tail -F xxx.log 的方式） source来获取日志时，当单条日志过大超过1M时，source端无法从日志中获取到Event。 2、日志超过1M后，flume的kafka sink 作为生产者发送给...
利用Maxwell，kafka，flume对数据库进行增量数据时候同步到hdfs上
m0_66913780的博客
05-05 370
启动：bin/flume-ng agent -n a1 -c conf/ -f job/kafka_to_hdfs_db.conf -Dflume.root.logger=info,console 这样就能从topic_db主题获取增加的数据了。1,首先改一下maxwell的配置文件(config.properties) 把从mysql读到增量的数据写到kafka的topic_db的主题上。4.数据脚本：启动（java -jar gmall2020-mock-db-2021-11-14.jar）
记sqoop将mysql数据增量导入hdfs的致命问题
LZX的博客
10-13 372
sqoop增量导入数据分为两种方式： 基于递增列的增量数据导入（Append方式）。 基于时间列的数据增量导入（LastModified方式）。 一、 Append方式 # append方式 --incremental append \ # 自增id列 --check-column id \ # id大于此值 --last-value 0 由于我导的某张表没有自增id，所以我不得不采用LastModified方式 使用非自增id会报错 sqoop ERROR
hbase数据批量入库后，hdfs无法观察到hbase的表目录下数据量增大
那又怎样？的博客
09-25 315
第一种解决办法：flush “表名” eg：  flush "ipsource201807" 第二种解决办法：major_compact  “表名”（一般无效） eg： major_compact  "ipsource201807"
Flume实现Kafka数据持久化存储到HDFS
微光点亮星辰
05-30 2713
本文关键字：Flume、Kafka、HDFS、实时数据、存储。对于一些实时产生的数据，除了做实时计算以外，一般还需要归档保存，用于离线数据分析。使用Flume的配置可以实现对数据的处理，并按一定的时间频率存储，本例中将从Kafka中按天存储数据到HDFS的不同文件夹。
_inc解决应急flume的jar包和传输配置文件
08-02
标题中的“_inc解决应急flume的jar包和传输配置文件”表明这是一个关于Apache Flume的解决方案，Flume是大数据领域中用于收集、聚合和移动大量日志数据的工具。在这个场景下，"_inc"可能是指一个特定的公司或团队...
Flume采集Rabbitmq数据同步到HDFS
05-30
在这个场景中，我们将探讨如何使用Flume从RabbitMQ消息队列中采集数据，并同步到HDFS。 RabbitMQ是一个开源的消息代理和队列服务器，广泛应用于各种分布式系统中，提供可靠的数据交换机制。它允许生产者发送消息，...
利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka
03-06
标题中的“利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka”是一项数据集成任务，涉及Apache Flume、MySQL数据库、Hadoop Distributed File System (HDFS) 和Apache Kafka这四个关键技术。Flume是Apache的一...
Flume传输Nginx日志到HDFS
01-20
环境配置： linux：Centos7 JDK：1.8 Hadoop：2.8.5（默认已安装好集群环境） Nginx：14.0（独立部署） Flume：1.8.0（与Nginx部署在一起） ...3、 进入到nginx的源码目录中 cd /usr/local/src/nginx-14.0/ 4、 预
flume增量读取mysql数据写入到hdfs-附件资源
03-02
flume增量读取mysql数据写入到hdfs-附件资源
Hadoop实战：使用Maxwell把MySQL数据实时同步到HDFS
mojolang
05-03 1023
Maxwell介绍 Maxwell是一个守护程序，一个应用程序，能够读取MySQL Binlogs然后解析输出为json。支持数据输出到Kafka中，支持表和库过滤。 → Reference：http://maxwells-daemon.io → Download:https://github.com/zendesk/maxwell/releases/download/v1.10.3/ma...
【尚硅谷】电商数仓 Flume写入hdfs报错
微信号：RunsenLiu
10-04 1529
hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。使用Flume消费kafka中数据，sink到hdfs中出现数据压缩格式支持错误；上传 hadoop-lzo-0.4.20.jar 到。,也可以将这个jar拷贝到自己flume的lib目录下。core-site.xml增加配置支持LZO压缩。
HDFS详解
qq_43667449的博客
03-03 835
帮助读者理解HDFS
DolphinScheduler技术分析（九）
Choozz1的博客
12-05 378
2021SC@SDUSC
数仓(七)：全量、 增量、缓慢变化维、拉链表
.
11-13 5410
一、解决增量导入由于数据修改导致数据重复问题 方案一：全量更新 目标表只保留最新的一份，比如我们每天用sqoop抽取最新的一份全量数据到hive 全量表 全量表没有分区，表中的数据是前一天的所有数据，比如说今天是24号，那么全量表里面拥有的数据是23号的所有数据，每次往全量表里面写数据都会覆盖之前的数据，所以全量表不能记录历史的数据情况，只有截止到当前最新的、全量的数据。 方式：每天drop掉前一天的数据，重新抽一份最新的。 优点：节省空间，一些普通的使用也很方便，不用在选择表的时候加一个时间分
flume采集日志使用KafkaChannel传hdfs没反应解决方案
提桶跑路20年的博客
07-18 1733
学习到电商数仓的日志采集时，flume定义了filesource-KafkaChannel-无sink来生产日志放在kafka中，消费日志使用kafkaSource-fileChannel-hdfsSink来将日志放到hdfs中，好让日后进行相关计算业务。 问题：KafkaChannle读取了log文件，但是hdfsSink没有产生文件？ 方法： ①查看生产者flume日志，和消费者flume日志，看有没有相关ERROR 启动生产者和消费者的命令应该加上写到文件中，不然无法看出错误 “nohup /home
【图解大数据技术】Flume、Kafka、Sqoop
最新发布
weixin_43889578的博客
07-06 442
Flume是一个数据采集工具，多用于大数据技术架构下的日志采集。Flume的特点是高可靠，高可用，分布式，海里数据采集传输。Agent：一个Agent就是一个JVM进行，Agent中主要由Source、Channel、Sink三部分组成。Source：Source主要负责收集外部的数据到Agent中，以Event的形式存入Channel。Sink：Sink负责从Channel中批量删除Event并把它们写入指定的外部存储。
C# WPF入门学习主线篇（七）—— Label常见属性和事件
weixin_56595425的博客
06-07 1664
在《C# WPF入门学习主线篇（七）—— Label常见属性和事件》一文中，我们详细探讨了 WPF 中 `Label` 控件的常见属性和事件，包括 `Content`、`FontSize`、`Foreground`、`Background` 等属性，以及 `MouseEnter`、`MouseLeave`、`MouseDown` 和 `KeyDown` 等事件。通过丰富的示例代码，本文帮助读者掌握如何自定义 `
10.javaSE基础_JDBC编译程序(Driver+Statement+Connection+mysql数据库连接)
m0_61086522的博客
07-02 1199
JDBC是的缩写。它是Sun的Javasoft公司制定的Java数据库连接技术，是一套标准接口java.sql包中提供了JDBC API,通过它连接到各种数据库系统，编写访问数据库的程序。JDBC API不能直接访问数据库，它依赖于数据库厂商提供的JDBC Driver（JDBC驱动程序）
flume数据采集文件到hdfs
01-24
以下是使用Flume将数据采集并存储到HDFS的配置代码示例： ```shell # 配置Agent agent.sources = r1 agent.channels = c1 agent.sinks = k1 # 配置Source agent.sources.r1.type = spooldir agent.sources.r1....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值