Flume源码阅读记录(2)flume启动过程

最新推荐文章于 2021-08-24 14:24:31 发布
最新推荐文章于 2021-08-24 14:24:31 发布
阅读量190 收藏
点赞数
分类专栏： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SW_LCC/article/details/94195785
版权

flume-ng 启动

当flume配置好后，使用 bin/flume-ng agent -n agent -c conf -f conf/flume-demo.conf -Dflume.root.logger=INFO,console ，即可利用flume-ng脚本以及传入的各参数启动flume服务。

flume-ng脚本

在这里插入图片描述
在这里注意，FLUME_AGENT_CLASS=“org.apache.flume.node.Application”
在这里插入图片描述
run_flume()函数，启动FLUME进程。
在这里插入图片描述
add_hadoop_paths
add_hbase_paths
add_hive_paths
引入当前flume所在机器环境上的hadoop,hbase,hive的lib包。

在这里插入图片描述
以上是各类启动参数。
在这里插入图片描述
当启动命令里用了avro-client时，则可看出程序入口类是
org.apache.flume.client.avro.AvroCLIClient
当没有使用avro-client
则flume程序的入口类是
org.apache.flume.node.Application

SW_LCC
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume 注册 windows 服务
warelf_0130的专栏
08-15 644
虽然生产环境下 flume 一般都在linux中运行，但是总会有些特殊情况要在 windows server 中使用 flume。但是楼主在 google、bing、baidu找了一通也没有比较好的方案，于是只能自已造轮子了。 思路： 既然 flume 是 java 项目，那么最终还是通过 java.exe 运行，那么只要找到这条命令，就有办法注册成服务。   分析： 先看 bin\fl...
Windows配置并运行Flume的教程
★【World Of Moshow 郑锴】★
05-20 1万+
项目介绍 Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 数据收集 Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 。Flu...
01. apache flume 启动入口【小明同学】
u011046509的博客
04-06 367
Flume NG 代码地址，我们把代码clone下来以后就会发现，工程里集成了很多的模块，那该如何下手？ 阅读官网的手册 官方手册 这里不再翻译，我们来看重点 start手册步骤中第五步： Configure and Run Flume NG After you’ve configured Flume NG (see below), you can run it with the bin/flume-ng executable. This script has a number of arg
flume启动报错 Could not find or load main class org.apache.flume.node.Application
十色花的博客
09-11 7065
修改flume的文件夹名称后，启动flume可能会失败，错误信息如下： Error: Could not find or load main class org.apache.flume.node.Application 这个是因为环境变量的问题。 export看一下是不是有个FLUME_HOME的环境变量指向原来的文件夹， 如果是的话： unset FLUME_HOME 就行了...
在ubantu中的Flume的安装、启动和测试
weixin_47401182的博客
11-20 1797
sudo tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local # 将apache-flume-1.7.0-bin.tar.gz解压到/usr/local目录下，这里一定要加上-C否则会出现归档找不到的错误 sudo mv ./apache-flume-1.7.0-bin ./flume #将解压的文件修改名字为flume，简化操作 sudo chown -R hadoop:hadoop ./flume #把/usr/local/flume目录
Flume源码阅读记录（1）flume介绍
SW_LCC的博客
06-28 473
Flume简介 Flume 是 Cloudera 提供的日志收集系统， 使用java语言编写，具有分布式、 高可靠、高可用性等特点， 适用于大数据的数据收集，聚合转换和传输。 Flume 支持在组件式配置，用户可以根据不同的应用场景部署各个组件。组件可以使用官方提供的，也可以使用用户自己二次开发的。 Flume架构 Flume的核心为Agent，每个Agent是一套完成的数据传输工具，完成数据的接...
大数据Ambari之flume集成编译好的源码包
05-02
1. **安装Flume**: 下载已经编译好的Flume源码包，如"zkyrpm"，解压后获取对应的RPM包，使用Ambari的自定义服务功能添加Flume服务。确保你的Ambari版本与Flume版本兼容。 2. **配置Ambari**: 在Ambari管理界面，...
flume1.7.0源码
05-19
在Flume 1.7.0源码中，我们可以探索以下几个关键知识点： 1. **Flume架构**： Flume 的核心架构由三个主要组件构成：Sources、Channels 和 Sinks。Sources 负责从各种数据源（如网络套接字、日志文件、应用程序API...
Spark整合Flume项目源码.rar
最新发布
10-18
Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 在推送式方法 (Flume-...
电商数仓项目(八) Flume 系列源码
03-19
在源码分析过程中，可以关注以下几个关键点： 1. 数据流处理：了解 Flume 如何处理事件（Event）的生命周期，从创建、传输到最终写入目标。 2. 配置文件解析：学习如何编写和解析 Flume 配置文件，理解各组件间的...
flume支持RabbitMQ插件
05-26
flume支持RabbitMQ插件
flume启动Could not find or load main class org.apache.flume.node.Application
weixin_33802505的博客
03-21 1553
2019独角兽企业重金招聘Python工程师标准>>> ...
Flume【问题记录 01】【at org.apache.flume.node.Application.main(Application.java:xxx) 类问题整理+其他类型问题总结】【避坑指南】
热门推荐
シ風
08-24 1万+
我使用的是 apache-flume-1.9.0 版本，以下问题和解决均以此版本进行说明。 [root@tcloud ~]# flume-ng version Flume 1.9.0 Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git Revision: d4fcab4f501d41597bc616921329a4339f73585e Compiled by fszabo on Mon Dec 17 20:45:
Windows系统Flume监控文件夹写入MySQL
我的博客
07-20 1072
文章目录Windows环境下安装数据库测试表配置agent启动测试 Windows环境下安装 安装包与Linux的一样 下载地址： http://archive.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz 我这里下载在电脑D盘，tar.gz格式直接解压 数据库测试表 建立一个测试库表和写入MySQL的自定义sink代码都参考： https://blog.csdn.net/zz_aiytag/article/details/107362
No appenders could be found for logger (org.apache.flume.node.Application).
Rambo
08-19 460
[root@test bin]# ./flume-ng agent -n a1 -c conf -f conf/flume-conf.properties + exec /usr/java/jdk1.6.0_30/bin/java -Xmx20m -cp 'conf:/usr/local/flume/lib/*' -Djava.library.path= org.apache.flume.no...
源码分析Flume启动过程
在路上的学习者
04-16 1857
对Flume-NG的agent启动过程进行详细的分析。
【大数据】Flume源码分析之启动过程
像风走过八千里
06-20 870
要分析flume的源码，首先要从Flume的启动开始，然后再分析Flume的各个组件服务Source、Channel、Sink的源码，接下来我们就来看下Flume是如何启动的吧 Flume的启动入口 org.apache.flume.node.Application 1、校验命令行 Options options = new Options(); Option option = new Option("n", "name", true, "the name of this agent".
flume Channel选择器
SW_LCC的博客
08-28 2493
简介 channel处理器用于决定source接收的时间写入哪个channel，由其通知channel，并将时间写入。 选择器类型 flume自带两种选择器: 1.relicating(复制选择器）,默认使用 2.multiplexing(多路复用选择器) 1.复制选择器 复制选择器会复制每个source接收的事件，将事件复制并分发到所有channel，可通过配置参数，控制分发的channel。 ...
Flume ng深入解析：从源码到应用实践
在源码层面，Flume ng的入口点通常是`bin/flume-ng agent`命令，通过配置文件指定Source、Channel和Sink。监控可以通过设置`flume.monitoring.type`和`flume.monitoring.port`来开启，如HTTP监控。 在深入源码分析...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值