🦄 个人主页——🎐个人主页 🎐✨🍁
🪁🍁🪁🍁🪁🍁🪁🍁 感谢点赞和关注 ,每天进步一点点!加油!🪁🍁🪁🍁🪁🍁🪁🍁
目录
一、问题说明
Flume 自定义 HDFS-Sink,远程服务器进行部署flume打包好后的代码,本地监控远程flume程序端口,进行本地debug和学习Flume 整个运行流程和Event 数据结构学习。
二、操作步骤
2.1 bin/flume-ng 启动脚本配置
[root@hdp105 apache-flume-1.9.0-bin]# cat bin/flume-ng | grep JAVA_OPT
$EXEC $JAVA_HOME/bin/java $JAVA_OPTS $FLUME_JAVA_OPTS "${arr_java_props[@]}" -cp "$FLUME_CLASSPATH" \
#JAVA_OPTS="-Xmx20m"
JAVA_OPTS="-Xmx1000m -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y"
2.2 idea创建远程调试
新增远程debug模式
选择 Remote 配置选项
填写flume 启动的服务器IP 和端口
远程启动flume程序,本地也启动该flume程序,打上断点。就可以了
bin/flume-ng agent -n ipva_flume --conf ./conf/ -f ./conf/traffic_ipva_DSCToHBase/traffic_ipva_DSCToHBase.conf -property "flume.monitoring.type=http;flume.monitoring.port=37242"
远程的flume 启动
文件放到source监控的路径
打上断点, 本地的flume 也启动,进入debug 模式,我们可以看到 如下 :headers和body中的数据