Flume 组件（source、channel、sink）远程调试

于 2020-06-24 10:19:23 发布
阅读量231 收藏
点赞数
分类专栏： 代码工具 文章标签： intellij idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shkstart/article/details/106938256
版权

1.创建Maven工程

2.编写所需要自定义组件的代码（以Source为例）,打包放到服务器上

在这里插入图片描述

3.添加idea Debug 配置

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.在服务器上广播Debug端口

[atguigu@hadoop102 flume]$ export FLUME_JAVA_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005"

提示：这里需要将suspend=n，改为suspend=y.

5.启动Flume 程序，测试连接

[atguigu@hadoop102 flume ]$ flume-ng agent -c conf/ -f jobs/mysource.conf -n a1 -Dflume.root.logger=INFO,console

在这里插入图片描述

6.进入Idea 进行Debug操作

在这里插入图片描述

7.取消端口的广播

[atguigu@hadoop102 flume]$ export  -n FLUME_JAVA_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005"
程序员驴子酱
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何远程调试自定义开发的Flume应用
IT大狮兄的博客
08-16 288
一、前言 Flume作为当下最流行的大数据采集组件之一。其本身拥有分布式/高可靠/高可用等优点，但相比较于Flink/Spark/Kafka等大数据组件，其对于本地调试的功能支持度并不高，如果我们没有掌握Flume的远程调试要领，就只能不停的进行打日志，部署，打日志，部署这样低效的工作，而这对于程序员来说无异于折磨。所以今天小编就和大家一起来探究Flume的远程调试方法。 二、环境准备 flink官网下载上传服务器并解压。 开发自定义Source，这里以简单的读取mysql表数据为demo，部分代码
idea远程调试看flume源码
wyee000的博客
07-22 303
感觉对flume只是会用，并不了解底层实现，所以我准备追追源码，看看flume的一个运行过程。 1.安装flume（略） 2.开启远程调试 在flume的bin目录找到flume-ng，然后在flume-ng中找到图中所示的部分： 修改框住的地方为： JAVA_OPTS="-Xmx20m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,ser...
关于本地IDEA调试远程的flume
qq_32667911的博客
04-27 314
step1： 在flume/bin/flume-ng文件中对如下配置进行修改： 修改前：JAVA_OPTS="-Xmx20m" 修改后： JAVA_OPTS="-Xmx20m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y" step2： 在idea的configuration添加remote的配置，修...
flume1.7源码编译及main方法启动
shengpli′s blog
02-03 2669
一、编译 首先下载flume1.7源码，导入eclipse 1.Maven依赖报错Missing artifact jdk.tools:jdk.tools:jar:1.7 添加依赖 <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools<...
Flume(7) flume自定义Sinks实现
热门推荐
cowbin2012的专栏
05-07 1万+
源码地址 前言 接上一篇Flume(6) flume自定义Sources实现，我们总结了一下自定义source的流程，这次我们实现一个自己的Sink，将数据Sink到Mysql数据库中。 创建数据库相关 CREATE TABLE `flume` ( `content` varchar(255) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=u...
Flume的channel和sink.docx
05-16
在Flume中，数据流动的核心组件是`Source`、`Channel`和`Sink`。 **Channel**是Flume中的中介存储，它在Source和Sink之间提供缓冲。以下是几种常见的Channel类型： 1. **Memory Channel**：将事件存储在内存中，...
大数据flume组件使用指导手册中文版
08-03
Flume 主要由 Source、Channel 和 Sink 三个核心组件构成。Source 负责从各种数据源（如网络日志、系统日志等）收集数据；Channel 作为临时存储，确保数据在传输过程中的可靠性；Sink 则负责将 Channel 中的数据...
Apache-flume-1.7.0-bin.tar.gz
08-11
2. **Channel（通道）**：Channel 在 Flume 中起到了缓冲区的作用，它存储从 Source 收集到的数据，直到这些数据被 Sink 处理。Channel 可以是内存型的，也可以是文件系统型的，确保数据在传输过程中的持久性和可靠...
大数据采集技术-Flume组件.pptx
12-23
Flume的核心结构由三个主要组件构成：Source、Channel和Sink，它们共同协作完成数据流的处理过程。 1. Source（数据源）： Source是Flume中负责数据采集的部分，它可以接入多种类型和格式的日志数据。例如，Exec ...
大数据组件-Flume高可用集群搭建
最新发布
03-28
### 大数据组件-Flume高可用集群搭建 #### Flume概述 Flume是一个高度可靠的分布式数据收集系统，主要用于从多种数据源收集并传输数据至Hadoop生态系统内进行后续处理。由于其强大的可扩展性和可靠性，Flume在大型...
自定义flume的sink
weixin_30776545的博客
02-24 58
import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; import kafka.serializer.StringEncoder; import org....
flume自定义sink
韩利鹏
11-23 824
java文件：package com.dle;import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException;import org.apache.flume.Channel; import org.apache.flume.Co
2. Flume Source 详解
sun
06-05 2650
1.  Avro Source属性说明 a1.sources = r1 a1.channels = c1 a1.sources.r1.type = avro a1.sources.r1.channels = c1 a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 4141 2. Spooling Directory Source
flume插件开发debug
nevermore668的博客
11-08 648
1.下载安装好flume，配置flume； 配置文件示例：lng_2.channels=c1 lng_2.channels.c1.capacity=60000 lng_2.channels.c1.transactionCapacity=20000 lng_2.channels.c1.type=memory lng_2.sinks=k1 lng_2.sinks.k1.batchSize=60 lng...
flume远程调试 配置
xinji
01-03 197
原因: flume 二次开发;需要调试代码 修改 flume-ng 配置 #开启远程调试端口 5005 JAVA_OPTS="-Xmx20m -Xdebug -Xrunjdwp:transport=dt_socket,address=5005,server=y,suspend=y" 启动flume-ng 在服务器上 启动 idea 加载flume源码 配置 remote IP 与端口号 ...
Flume初解
debugbugbg的博客
05-29 162
Flume*Flume OG -->Flume NG 是Cloudera 提供的一个分布式、可靠、可用的系统(两个版本不兼容)；Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志手机，并支持failover和负载均衡*Flume使用Java编写，需运行在java1.6或以上版本*Hadoop离线计算开发流程图：*js埋点、爬虫都可收集页面数据*MR也可以称为ETL，数据...
Hadoop项目实战：新闻离线项目分析
01-13
本课程为项目实战课，项目各个环节既深入讲解理论知识，又结合项目业务进行实操，从而达到一站式掌握大数据离线项目。
flume搭建调试
yydcj的专栏
04-24 2993
Installing CDH3 https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo -O /etc/yum.repos.d/cloudera.repo yum search hadoop yum -
flume使用（二）：采集远程日志数据到MySql数据库
maoyuanming0806的博客
02-26 9357
本文内容可查看目录本文内容包含单节点（单agent）和多节点（多agent，采集远程日志）说明一、环境linux系统：Centos7 Jdk：1.7 Flume：1.7.0 二、安装linux中jdk、mysql的安装不多赘述flume1.7的安装：进入官网：http://flume.apache.org/ 然后找到1.7版本下载放到centos系统解压即可三、准备数据库表注，本文flum...
Flume通道与接收器详解：Memory Channel、File Channel、HDFS Sink等
本文重点讨论了Flume中的两个关键组件——Channel和Sink，以及相关的配置和使用场景。" Flume的Channel是事件(Event)的存储区域，它在Source与Sink之间起到缓冲作用。Channel可以是内存型、文件型或数据库型，每种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值