flume搜集数据到hadoop HA可能出现的问题及解决办法

最新推荐文章于 2023-11-13 16:31:36 发布
最新推荐文章于 2023-11-13 16:31:36 发布
阅读量929 收藏
点赞数
分类专栏： 经验 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haoxiaoyan/article/details/84304736
版权

把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的conf目录去，把hadoop-hdfs-2.7.1.jar复制到 Flume  lib目录。

ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process failed

java.lang.IllegalArgumentException: java.net.UnknownHostException: ha1

解决方法

ha1公司Hadoop集群NameService的名字，这个错误是由于找不到Hadoop集群NameService造成的，所以需要把hdfs-site.xml复制到flume/conf目录。

root@:~# cp /etc/hadoop/conf/hdfs-site.xml /home//flume/conf/

 

java.io.IOException: Mkdirs failed to create /test/flume/16-09-19 (exists=false, cwd=file:

最低0.47元/天 解锁文章
蘑菇丁
关注
专栏目录
关于flume采集，这个问题一直无法解决，不知道是hadoop集群的问题还是，flume的问题
xinxin_zhang的专栏
08-27 2869
on_1_201408262011 to /data/flume/event_log/impression_washington_1_201408262011.COMPLETED 2014-08-27 10:24:49,844 (pool-5-thread-1) [INFO - org.apache.flume.client.avro.ReliableSpoolingFileEventReade
Flume配置双HA hdfsSink.docx
06-17
通过修改flume源码实现flume向两个HA hadoop集群分发数据。
hadoop ha模式下的flume配置（并非flume ha）
weixin_42513086的博客
12-28 1092
hadoop ha模式下的flume配置   在学习flume的时候由于已经配置了Hadoop的ha模式，导致flume在sink的时候找不到namenode地址，无法存储信息的问题 已解决，特此记录 第一步 将hadoop集群中/hadoop根目录/etc/hadoop/hdfs-site.xml和core-site.xml 复制到flume根目录/conf下 第二步 查看自己ha配置集群名称，即core-site.xml中的fs.defaultFS 改变flume配置文件 *.
flume上传日志到ha hadoop hdfs上
www.hohode.com
02-13 2287
将hadoop集群的core-site.xml和hdfs-site.xml放在flume的conf目录下 For HA, you must use the HA service name, such as hdfs://nameservice1/user/foo instead of hdfs://namenode-host:8020/user/foo. This will protect y
hadoop报错导致flume无法写入日志文件，hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256...
云计算?
01-22 174
hadoop报错导致flume无法写入日志文件，hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256 问题描述：报错具体如下 2013-01-21 00:00:07,547 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiving bl...
flume实时写数据到HA模式下的hdfs
qq_32461003的博客
12-25 1424
上一篇文章写到flume实时抽取mysql数据到kafka和hdfs，但是之前没有考虑到在hdfs是在HA模式下的情况，如果在HA模式下，我们指定了写入地址为：hdfs://cdh2:8020/flume/oracle/topic/test_%Y%m%d，当cdh2是Active状态下是没有问题的，但是当cdh2变成Standby状态后，则数据无法正常写入；为了解决这种问题，我们在flume写入...
在hadoopHA节点上部署flume高可用组件
pysense的博客
11-24 1065
文章目录前言1、flume 的基本介绍1.1 基本介绍1.2 数据流模型2、flume的配置文件说明2.1 配置过程3、单点flume agent测试3.1 基本安装3.2 启动flume agent进程3.3 将source.type配成tail F4、flume高可用配置4.1 三个agent的flume配置4.2 配置 collector 前言 前面的blog已实现了hadoopHA的项...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
Flume是一个日志收集系统，常用于将数据从各种数据源聚合到Hadoop HDFS或其他存储系统。配置Flume涉及定义source、sink和channel，以实现数据流动。 Flink是另一种高性能的流处理框架，它在低延迟和状态管理方面有...
flume消费kafka数据太慢_flume 一款数据流日志传输工具，常见问题原因和解决方法...
weixin_39919165的博客
11-21 2941
flume 是分布式，高可靠 ，高可用，基于流式数据，强健性 ，高容错 ，故障转移与自动恢复，多数据来源接口，上手简单，一个集收集，聚合，移动大规模日志数据的服务。官网下载地址 http://flume.apache.org/download.html今天介绍以flume1.9.0版本为例系统需求： 1、java 1.8 or later 2、足够的内存 3、足够的磁盘空间 4、机器的读写权限下载...
flume 一对多hdfs_flume介绍
weixin_42463480的博客
12-27 288
https://flume.liyifeng.org/一、flume是什么Apache Flume是Apache软件基金会（ASF）的顶级项目，目前有两个发行版本，0.9.x和1.xApache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and mov...
记使用supervisor管理flume进程时，往hdfs到数据缺少依赖错误
biuubi的博客
05-27 459
Failed to start agent because dependencies were not found in classpath. Error follows ERROR [conf-file-poller-0] (org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run:150) - Failed to start agent because dependencies we
Flume HA
he_321的博客
01-29 1302
flume的HA就是HDFS的HA，如何配置HDFS HA可以查看HDFS高可用（HA）配置 HDFS HA配置好了以后，为了Flume能够访问HDFS HA，将hdfs的配置文件core-site.xml，hdfs-site.xml拷贝到flume的配置目录conf下，让flume自己去解析即可。
HDFS集群+HBase+Flume+Sqoop+MySQL+Hive插件的搭建部署
Joseph25的博客
05-02 1322
安装linux环境 一、防火墙 1、关闭防火墙 ]# service iptables stop 2、从开机启动项中关闭防火墙 ]# chkconfig iptables off 3、查看防火墙状态 ]# service iptables status 4、查看防火墙的开机状态 ]# chkconfig --list | grep iptables //其余两台机器重复上述操作......
Centos7搭建Hadoop HA完全分布式集群（6台机器）（内含hbase，hive，flume，kafka，spark，sqoop，phoenix，storm）
eagle89的专栏
06-28 993
​​​​。
Flume的安装
wt6002的博客
09-03 142
下载地址： http://mirrors.hust.edu.cn/apache/ http://flume.apache.org/download.html Flume的安装 　　Flume框架对hadoop和zookeeper的依赖只是在jar包上，并不要求flume启动时必须将hadoop和zookeeper服务也启动。 再这个地方,为了以后能好管理和hadoop放到一起.这个地方都是解压到hadoop下面的.hadoop文件夹自己创建. （1）将安装包上传到服务器并解压 [hado
flume与hdfs集成排雷指南
半斤米粉闯天下的博客
02-20 1385
先说一下环境，flume 1.9.0，hadoop 3.2.1，兼容没有问题，官方文档没什么好说的，足够详细，每一项后面都附带有例子，好评。但是在配置sink to hdfs的时候足足趟了不少雷，记录下来希望可以帮到更多的人。 错误最常见的还是java.lang.NoClassDefFoundError异常，出现这个提示100%是因为flume缺少相应的组件包，下面分别说一下缺少的内容，找到对应...
Flume启动报错，[ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process
最新发布
weixin_65182065的博客
11-13 684
从查看结果来看，Flume中的guava版本较低，因此需要将Flume中的guava删除。Hadoop中的guava版本和Flume中的guava版本不一致。4.将Hadoop中的guava拷贝到Flume中。现在重新启动Flume就不会报错了，问题圆满解决。1.查看Hadoop中的guava版本。2.查看Flume中的guava版本。3.将两者中较低的guava版本删除。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值