Flume 报出异常org/apache/hadoop/io/SequenceFile$CompressionType

最新推荐文章于 2024-01-04 04:00:00 发布
最新推荐文章于 2024-01-04 04:00:00 发布
阅读量2.7k 收藏 1
点赞数 2
分类专栏： BigData 文章标签： flume java bigdata
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq1010234991/article/details/88426564
版权

异常 Failed to start agent because dependencies were not found in
classpath. Error follows. java.lang.NoClassDefFoundError
org/apache/hadoop/io/SequenceFile$CompressionType

问题原因：缺少依赖包，这个依赖包是以下jar文件：

${HADOOP_HOME}share/hadoop/common/hadoop-common-2.7.2.jar
解决方法：找到这个jar文件，copy到flume安装目录下的lib目录下就ok了。

123.56.119.133:8090
关注
专栏目录
Flume04：【案例】使用Flume采集文件内容上传至HDFS
weixin_40612128的博客
03-03 7658
案例：采集文件内容上传至HDFS 接下来我们来看一个工作中的典型案例： 采集文件内容上传至HDFS 需求：采集目录中已有的文件内容，存储到HDFS 分析：source是要基于目录的，channel建议使用file，可以保证不丢数据，sink使用hdfs 下面要做的就是配置Agent了，可以把example.conf拿过来修改一下，新的文件名为file-to-hdfs.conf 首先是基于目录的source，咱们前面说过，Spooling Directory Source可以实现目录监控 来看一下这个Spoo
Flume 1.7.0安装与实例
热门推荐
strongyoung的专栏
11-03 1万+
Flume 1.7.0安装与实例
hadoop UnsupportedFileSystemException 问题
08-15 7972
使用hdfs操作文件的时候遇到以下两个异常： 1.java.io.IOException: No FileSystem for scheme: hdfs 2.org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "file"   类似No FileSystem for scheme: h...
Hadoop之SequenceFile
aodiyi6351的博客
05-04 167
Hadoop序列化文件SequenceFile能够用于解决大量小文件（所谓小文件：泛指小于black大小的文件）问题，SequenceFile是Hadoop API提供的一种二进制文件支持。这样的二进制文件直接将<key,value>对序列化到文件里，一般对小文件能够使用这样的文件合并。即将文件名称作为key。文件内容作为value序列化到大文件里。 ...
Hadoop SequenceFile
松门一枝花
08-19 735
apache原文：http://hadoop.apache.org/docs/r1.0.4/api/org/apache/hadoop/io/SequenceFile.html 概念： SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件，它可以在map/reduce过程中的input/output 的format时被使用。 在map/redu
Hadoop 中 SequenceFile 的理解
m0_37987389的博客
04-05 392
SequenceFile其实还是蛮简单的啦，就是一个个键值对组成的序列化文件。文件的前三个字节为文件头，包含顺序文件代码、键和值的类名称、数据压缩细节和元数据等。后面为压缩或者没有压缩的记录，夹杂了同步标识。 SequenceFile类提供SequenceFile.Writer、SequenceFile.Reader和SequenceFile.Sorter进行文件的写、读和排...
hadoop SequenceFile介绍 大数据 存储
weixin_33845477的博客
07-30 170
SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件。基于压缩类型CompressType，共有三种SequenceFileWriter：publicstaticenumCompressionType{ /**不压缩*/ NONE, /**只压缩value*/ RECORD, ...
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/io/SequenceFile$CompressionType at org.apache.flume.sink.hdfs.HDFSEventSink.configure(HDFSEventSink.java:244) at org.apache.flume.conf.Configurables.configure(Configurables.java:41) at org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:456) at org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(AbstractConfigurationProvider.java:109) at org.apache.flume.node.Application.main(Application.java:491)
06-07
这个错误信息看起来像是缺少了 `org.apache.hadoop.io.SequenceFile$CompressionType` 类，这可能是因为您的应用程序依赖的某个库或 JAR 包没有正确地加载或配置。您可以尝试检查您的应用程序配置和依赖项，并确保...
flume保存文件到hdfs的时候报错
lmh94604的专栏
05-05 8688
向hdfs中写文件，启动flume的时候报错 1. java.lang.NoClassDefFoundError: org/apache/hadoop/io/SequenceFile$CompressionType 2. java.io.IOException: No FileSystem for scheme: hdfs
flume与hdfs集成排雷指南
01-07
先说一下环境，flume 1.9.0，hadoop 3.2.1，兼容没有问题，官方文档没什么好说的，足够详细，每一项后面都附带有例子，好评。...org/apache/hadoop/io/SequenceFile$CompressionType 缺少hadoop-common-X.jar
已解决java.lang.NoClassDefFoundError异常的正确解决方法，亲测有效！！！
最新发布
小明的Java问道之路
01-04 5万+
java.lang.NoClassDefFoundError这类错误通常令人困惑，因为它发生在运行时期，而非编译阶段，我将在本篇博客中帮助你理解此错误，并提供一个详细的解决方案。
Hadoop SequenceFile BLOCK压缩类型写入数据机制
weixin_33859665的博客
12-01 221
2019独角兽企业重金招聘Python工程师标准>>> ...
hadoop启动报错java.lang.NoClassDefFoundError:/org/apache/hadoop/yarn/server/timelineCollectorManager
上善亦若水的博客
09-15 6101
hadoop启动报错，这个错误主要是缺少timelineCollectorManager的jar包，下载该架包，放到yarn下的lib文件夹下即可。 或者hadoop3.0.3 版本将share\hadoop\yarn\timelineservice\hadoop-yarn-server-timelineservice-3.0.3.jar 放到share\hadoop\yarn\lib 下也...
错误解决java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStrea和Under-Replicated Blocks
qq_37135484的博客
03-20 2436
错误解决java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStrea和Under-Replicated Blocks
flume出现org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme “hdfs“
caocry的博客
02-13 832
flume报错说没有hadoop环境
使用 hdfs dfs -put 报错 org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/a.txt._C
qq_18304615的博客
08-29 1699
原因：可能是多次格式化 解决方法： hadoop dfsadmin -reportDEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it.Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B
Flume 报错指南
weixin_50831726的博客
03-11 969
在启动命令flume后：flume-ng agent -n a1 --conf /opt/software/flume160/conf/ -f /opt/flumeconf/file_hdfs.conf -Dflume.root.logger=INFO,console -n 表示重命名 –conf flume的conf目录读取配置文件 -f 读取本次flume执行操作的配置文件（sources、channels、sinks的具体配置） -Dflume.root.logger=INFO,console
java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/JobContext
liwenliang2的博客
12-26 5780
开始报错 JobContext在Hive-exec里面有，所以觉得很奇怪说class not found 。java.lang.NoClassDefFoundError两种原因。 1.这个jar包确实没有。导入。 2.依赖包有冲突。导致无法加载。这个冲突的包，有可能是这个找不到类所属的jar包。也有可能是函数调用时，其他类的所属jar包冲突了。 本例子中JobContext类有，只有一...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值