如何远程调试自定义开发的Flume应用

最新推荐文章于 2023-10-26 18:49:52 发布

IT大狮兄

最新推荐文章于 2023-10-26 18:49:52 发布

阅读量359

点赞数 1

分类专栏： Flume 大数据文章标签： flume 大数据

本文链接：https://blog.csdn.net/weixin_42212903/article/details/119703064

版权

本文介绍了如何远程调试自定义开发的Flume应用，详细阐述了环境准备、配置步骤、验证过程，帮助开发者提高效率，避免不断部署的困扰。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、前言

Flume作为当下最流行的大数据采集组件之一。其本身拥有分布式/高可靠/高可用等优点，但相比较于Flink/Spark/Kafka等大数据组件，其对于本地调试的功能支持度并不高，如果我们没有掌握Flume的远程调试要领，就只能不停的进行打日志，部署，打日志，部署这样低效的工作，而这对于程序员来说无异于折磨。所以今天小编就和大家一起来探究Flume的远程调试方法。

二、环境准备

flink官网下载上传服务器并解压。
开发自定义Source，这里以简单的读取mysql表数据为demo，部分代码如下：

package org.bigwinner.flume.sources;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.EventDeliveryException;
import org.apache.flume.PollableSource;
import org.apache.flume.conf.Configurable;
import org.apache.flume.event.EventBuilder;
import org.apache.flume.source.AbstractSource;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.sql.*;

/**
 * @author: IT大狮兄
 * @date: 2021/8/13 下午9:11
 * @version: 1.0.0
 * @description: 自定义Source--读取MySQL表的数据
 */
public class MysqlSource extends AbstractSource implements PollableSource, Configurable {
   
    private static final Logger LOGGER = LoggerFactory.getLogger

最低0.47元/天解锁文章