Flume自定义handler报错ClassNotFoundException

最新推荐文章于 2024-07-06 02:09:50 发布
最新推荐文章于 2024-07-06 02:09:50 发布
阅读量1.6k 收藏
点赞数
分类专栏： 大数据架构 文章标签： flume handler ClassNotFoundException JSONHandler
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Neil_24k/article/details/81486577
版权
这篇博客讲述了在配置Flume时遇到自定义HandlerClassNotFoundException的问题。通过在Java Maven项目中引入Flume的相关依赖，实现HTTPSourceHandler接口，并将自定义的handler打包放入Flume的lib目录下。启动Flume时，需在正确目录下使用指定命令，否则会出现错误。作者强调了启动命令的细节，指出不正确的启动方式可能导致此类错误。
摘要由CSDN通过智能技术生成

1.flume配置文件

a1.sources.r1.handler = xxx.xxx.xxx.MyHttpSourceHandler

2.引入自定义handler 步骤

建一个java maven项目，pom引入依赖

<dependencies>

<dependency>

<groupId>org.apache.flume</groupId>

<artifactId>flume-ng-sdk</artifactId>

<version>1.8.0</version>

<scope>provided</scope>

</dependency>

<dependency>

<groupId>org.apache.flume</groupId>

<artifactId>flume-ng-core</artifactId>

<version>1.8.0</version>

<scope>provided</scope>

</dependency>

<dependency>

<groupId>org.apache.flume</groupId>

<artifactId>flume-ng-configuration</artifactId>

<version>1.8.0</version>

<scope>provided</scope>

</dependency>

</dependencies>

最低0.47元/天 解锁文章
Neil_24k
关注
专栏目录
flume-http-handler:该项目适用于flume http源处理程序
05-01
flume-http-handler 该项目适用于flume http源处理程序
[已解决]启动Flume报错java.lang.ClassNotFoundException:memory
雷神乐乐的博客
03-06 769
[已解决]启动Flume报错java.lang.ClassNotFoundException:memory
flume java.lang.no_flume出现java.lang.ClassNotFoundException: org.apache.flume.sink.kafka.KafkaSink...
weixin_34849898的博客
02-16 756
命令：bin/flume-ng agent --conf conf --conf-file /opt/flume/conf/a1.conf --name a1 -Dflume.root.logger=INFO,console错误：2018-06-01 15:38:44,269 (conf-file-poller-0) [ERROR - org.apache.flume.node.PollingPr...
flume handler
weixin_30566063的博客
08-31 134
1.classpathclasspath中需要这两项：Flume Agent configuration file and the second are the Flume client jars (flume 代理配置和flume 客户端jar).OGG flume handler使用前者解析主机、端口、连接类型等 。实际上，只需要加入dirprm这个目录和flume_home/lib下即可以2...
flume使用之httpSource
赶路人儿
09-29 1万+
flume自带很长多的source，如：exe、kafka...其中有一个非常简单的source——httpsource，使用httpSource，flume启动后会拉起一个web服务来监听指定的ip和port。常用的使用场景：对于有些应用环境中，不能部署Flume SDK及其依赖项，可以在代码中通过HTTP而不是Flume的PRC发送数据的情况，此时HTTP SOURCE可以用来将数据接收到Fl...
[数仓]一、离线数仓（日志数据采集）
最新发布
weixin_44428807的博客
07-06 1504
G:\Bigdata\Projects\电商数仓4.0数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。和等就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据业务数据通常存储在MySQL、Oracle等数据库中。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。
Java知识点概览
qq_48403611的博客
08-03 3408
java后端开发常见面试题总结
三台机器集群搭建
qq_42612645的博客
10-26 1828
下载的地址： http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.2.tar.gz http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.1...
大数据面试题汇总【有自己的和网上总结的】
牛逸凡的博客
07-17 2234
1. 选择题 1.1. 下面哪个程序负责 HDFS 数据存储。 c)Datanode  答案 C datanode 1.2. HDfS 中的 block 默认保存几份？ a)3 份  答案 A 默认 3 份 1.3. 下列哪个程序通常与 NameNode 在一个节点启动？ d)Jobtracker  答案 D 1.4. HDFS 默认 Block Size c)128MB  答案：...
flume http source示例讲解
weixin_34318956的博客
06-13 462
一、介绍 flume自带的Http Source可以通过Http Post接收事件。 场景：对于有些应用程序环境，它可能不能部署Flume SDK及其依赖项，或客户端代码倾向于通过HTTP而不是Flume的PRC发送数据的情况，此时HTTP SOURCE可以用来将数据接收到Flume中。 从客户端的角度看，HTTP SOURCE表现的像web服务器一样能接收flume...
Exception处理机制、Exception Handler三种方法
FixedStar 的博客
04-16 5229
Throwable、Exception、Error The Throwable class is the superclass of all errors and exceptions in the Java language. An Error is a subclass of Throwable that indicates serious problems that a reasonab...
自定义flume拦截器-实现了多种功能
热门推荐
第一片心意的博客
06-21 1万+
1. 自定义拦截器实现说明 1. 实现interceptor接口，并实现其方法，接口完全限定名为：org.apache.flume.interceptor.Interceptor; 2. 自定义拦截器内部添加静态内部类，实现Builder接口，并实现其方法，接口完全限定名为：Interceptor.Builder 以下是最简单的代码示例（每个方法的作用都有注释说明）：......
spring boot 整合 RabbitMQ 错误
weixin_30294295的博客
07-09 804
1.错误 org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'org.springframework.amqp.rabbit.config.internalRabbitListenerAnnotationProcessor' defined in cl...
解决Flume启动报错 java.lang.ClassNotFoundException: org.apache.zookeeper.KeeperException
Young Lee
05-25 4971
nohup: ignoring input Info: Including Hive libraries found via () for Hive access + exec /opt/jdk1.8.0_221/bin/java -Xmx20m -Dflume.root.logger=INFO,console -cp 'conf:/opt/apache-flume-1.9.0-bin/lib/*:/lib/*' -Djava.library.path= org.apache.flume.node.Appl
Apache Flume 1.9.0源码分析 之 设计思路（二）
weixin_44417529的博客
09-17 289
Source配置类 ChannelProcesror的实现
java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder
九师兄
10-12 2771
aused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at s...
java使用flume自定义Handler
01-31
在Java中使用Flume自定义Handler，你需要按照以下步骤进行操作： 1. 首先，在你的Java项目中引入Flume的依赖。在你的pom.xml文件中添加以下代码： ```xml <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.7.0</version> </dependency> <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-configuration</artifactId> <version>1.7.0</version> </dependency> ``` 2. 创建一个自定义的Handler类，并实现HTTPSourceHandler接口。这个接口要求你的处理程序接收一个HttpServletRequest对象，并返回一个flume事件列表。以下是一个示例代码： ```java import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.event.SimpleEvent; import org.apache.flume.source.http.HTTPSourceHandler; import javax.servlet.http.HttpServletRequest; import java.util.ArrayList; import java.util.List; public class CustomHandler implements HTTPSourceHandler { @Override public List<Event> getEvents(HttpServletRequest request) throws Exception { // 从HttpServletRequest中获取数据，并将其转换为flume事件 String data = request.getParameter("data"); Event event = new SimpleEvent(); event.setBody(data.getBytes()); List<Event> events = new ArrayList<>(); events.add(event); return events; } @Override public void configure(Context context) { // 配置处理程序，如果需要的话 } } ``` 3. 在Flume的配置文件中指定你的自定义Handler。在你的flume配置文件中，找到HTTPSource的配置部分，并将handler属性设置为你的自定义Handler类的全限定名。以下是一个示例配置： ```properties agent.sources = http-source agent.sources.http-source.type = org.apache.flume.source.http.HTTPSource agent.sources.http-source.handler = com.example.CustomHandler ``` 4. 启动Flume agent并测试你的自定义Handler。启动Flume agent后，你可以使用HTTP POST请求将数据发送到Flume的HTTPSource，并验证你的自定义Handler是否按预期工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值