运用flume将数据从kafka中取出放置hdfs上出现的Source has been removed due to an error during configuration 问题

最新推荐文章于 2023-04-18 09:44:14 发布
最新推荐文章于 2023-04-18 09:44:14 发布
阅读量4.8k 收藏 2
点赞数 1
文章标签： 大数据 hadoop flume kafka hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li940477831/article/details/86639249
版权

在使用flume将kafka中的数据搬迁至hdfs的过程中，配置好了flume.conf文件，在启动的时候出现如下错误

出现该问题的原因是我使用的flume版本是1.6.0，而flume.conf配置文件中的配置如下

红色框中的内容是在flume1.7.0版本才有的写法，在1.6.0中应该配置为如下形式

把kafka.去掉即可（认真对比下上下两张图的区别）

然后从新启动flume即可

li940477831
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
四（2）、flume遇到的问题
Angular_need的博客
03-20 2274
从mysql抽取数据到hdfs flume-ng agent --conf conf --conf-file conf/flume-conf04.properties --name a1 -Dflume.root.logger=INFO,console a1.channels.ch1.type = memory a1.sources.sql-source.channels = ch1 a1.cha...
[flume]Source r1 has been removed due to an error during configuration
Linmeng001的博客
07-05 3083
flume问题
[错误收集]Flume Selector channel not found: c2
张俊杰 的博客
10-20 747
20/10/20 11:26:48 ERROR node.AbstractConfigurationProvider: Source r1 has been removed due to an error during configuration org.apache.flume.FlumeException: Selector channel not found: c2 检查配置文件,发现 这里写成了 c2i … 修改成 c2 再运行 发现能正常运行了 ...
flume实验:kafka生产者端通过flume发送信息到HDFS
m0_62171314的博客
04-18 1811
WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:452) - HDFS IO error：这是一个警告信息，表示Flume在进行HDFS输出时出现了IO错误。根据异常信息分析，可能是因为缺少com.ctc.wstx.io.InputBootstrapper类和org.codehaus.stax2.XMLInputFactory2类导致的异常。
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。
利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka
03-06
标题中的“利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka”是一项数据集成任务，涉及Apache Flume、MySQL数据库、Hadoop Distributed File System (HDFS) 和Apache Kafka这四个关键技术。Flume是Apache的一...
Kafka hdfs flume 数据采集实验
最新发布
11-17
在这个实验中，Flume 可能被配置为Kafka消费者，从Kafka中读取数据，并将其存储到HDFS中。 Hadoop Distributed File System (HDFS) 是Hadoop生态系统中的分布式文件系统。HDFS设计为跨多台机器存储大规模数据，提供...
flume-ng+Kafka+Storm+HDFS实时系统组合
01-30
5.使用什么脚本可以查看flume有没有往Kafka传输数据做软件开发的都知道模块化思想，这样设计的原因有两方面：一方面是可以模块化，功能划分更加清晰，从“数据采集--数据接入--流失计算--数据输出
flume消费kafka数据上传hdfs.doc
05-09
Flume 是一个分布式、可靠、可扩展的数据收集系统，主要用于从各种来源（例如日志文件、网络等）中实时收集数据，并将其传输到目标系统（例如 HDFS、Hive 等）中。本文档将详细介绍 Flume 消费 Kafka 数据上传 HDFS ...
Flume自定义开发常见异常及解决办法
Be yourself.
06-07 6710
前言 前些日子，对Flume进行了自定义sink和source的开发。遇到一些异常，以后关于Flume的异常都统一记录与此处。(除了个别较为麻烦的异常处理) 正文 Flume source has been removed due to an error in configuration 中文含义: Flume的source部分因为配置异常被移除。 表象: Flume中source...
flume使用自定义inteceptor，以及遇到 java.lang.InstantiationException
Hark_Hacker的博客
08-07 2442
主要内容 flume conf 配置：拦截器+选择器 自定义拦截器 自定义拦截器使用方式与可能遇到的问题 1 flume 配置 #interceptor 注意 自定义的interceptor后面的"$Builder"一定不能忘记 a1.sources.r1.interceptors = i1 i2 a1.sources.r1.interceptors.i1.type= com.china.flume.interceptor.LogEtlInterceptor$Builder a1.sou.
大数据技术学习笔记之网站流量日志分析项目：网站业务与企业架构2
锋子的博客
04-10 520
一、回顾    -》flume使用遇到的错误        -》少jar包        -》卡住不动：agent文件不对        -》环境变量：hdfs、hive    -》Flume三大组件        -》source：负责采集数据源，将数据源变成数据流，封装在event当中，将封装好的数据流发送给channel        -》channel：负责将source发送过来的数据进行...
Flume Sink到Kafka遇到的问题
博客
12-02 4135
1、版本问题 2018-12-02 15:23:06,334 (conf-file-poller-0) [ERROR - org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:427)] Sink k1 has been removed due to an e...
Flume常见错误整理（持续更新ing...）
热门推荐
光于前裕于后的博客
08-12 2万+
进来看！
Flume 1.9.0 源码解析 : 一篇文章弄清Flume 程序启动流程
张伯毅的专栏
03-16 4598
一 .环境准备. 1.配置文件: example.conf # example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure t...
flume自定义 interceptor 报错没有init方法(已解决)
qq_43139323的博客
07-12 656
在Intellij IDEA用java自定flume source,interceptor 打包放在linux上 测试把接收到的数据包装后输出到kafka 自定义的JsonInterceptor package com.yc.flume.interceptors; import com.alibaba.fastjson.JSONObject; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.
启动使用FLume从kafka采集数据写入HDFS代理中文乱码
06-04
中文乱码可能是由于Flume的字符编码设置不正确导致的。您可以尝试以下步骤解决问题： 1. 在Flume的配置文件中，找到Kafka Source和HDFS Sink相关的配置项。 2. 确认Kafka消息的字符编码，一般为UTF-8。在Kafka Source的配置项中，添加以下内容： ``` kafka.consumer.encoding=UTF-8 ``` 3. 在HDFS Sink的配置项中，添加以下内容： ``` hdfs.text.write.use.characterstream=true hdfs.text.write.charset=UTF-8 ``` 4. 保存配置文件并重启Flume。 这样，Flume将以UTF-8编码读取Kafka消息，并以UTF-8编码写入HDFS，解决中文乱码问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值