Flume启动与配置文件

最新推荐文章于 2024-05-07 15:05:57 发布
最新推荐文章于 2024-05-07 15:05:57 发布
阅读量4k 收藏 2
点赞数
分类专栏： Flume 文章标签： Flume启动 配置文件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/adeen/article/details/53259081
版权
本文介绍了Apache Flume的启动步骤，包括进入Flume根目录，运行run.sh和nohup程序。同时，详细讲解了Flume配置文件的修改，如设置不同类型的source、channel和sink，以及监控文件和Kafka Broker的配置。配置文件中定义了多个tailSrc类型的source，用于监听不同路径的日志文件，并将数据发送到Kafka的不同topic上。
摘要由CSDN通过智能技术生成

Flume启动：

  1、进入到Flume根目录。(cd flume -> cd flume/flume -> ll )可以看到以下内容

 2、启动run.sh程序。（ ./run.sh）。

 3、启动nohup程序。（nohup: appending output to ‘nohup.out’）到此Flume启动成功。

Flume配置文件修改如下：

[laps@hn10 flume]$ vi conf/
flume-conf.properties           flume-conf.properties.template  flume-env.sh.template          
.flume-conf.properties.swp      flume-env.ps1.template          log4j.properties               
[laps@hn10 flume]$ vi conf/
flume-conf.properties           flume-conf.properties.template  flume-env.sh.template          
.flume-conf.properties.swp      flume-env.ps1.template          log4j.properties               

最低0.47元/天 解锁文章
adeen
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume 配置和启动
小萌妹的作死笔记
06-25 6161
1.   Flume 运行实例参考  https://blog.csdn.net/u012373815/article/details/540251121.1   创建spool配置文件在配置文件夹conf 下创建： $  vim spool.conf a1.sources = r1a1.sinks = k1a1.channels = c1 # Describe/configure the sou...
flume配置
bwf317的博客
06-22 617
2.1 配置采集方案 通过上游采集，下游直接写入到hdfs中。配置两个sink用于sink高可用 上游配置： a1.sources = r1 a1.channels = c1 a1.sinks = k1 k2 #sources：用到TAILDIR类型，记录偏移量，安全，快开重连可以接着上次的位置继续采集数据 a1.sources.r1.channels = c1 a1.sources.r1.type = TAILDIR #根据终端定义相应地文件组，分别制定其对应的日志存储位置进行数据的读
Flume 启动参数配置
andy的博客
03-11 240
Flume 启动参数配置
Flume 的安装和使用方法(Spark-2.1.0)
最新发布
m0_74972727的博客
05-07 1893
同时，我们把 Flume Sink 类别设置为 avro，绑定到 localhost 的 44444 端口，这样， Flume Source 把采集到的消息汇集到 Flume Sink 以后，Sink 会把消息推送给 localhost 的 44444 端口，而我们编写的 Spark Streaming 程序一直在监听 localhost 的 44444 端口，一 旦有消息到达，就会被 Spark Streaming 应用程序取走进行处理。你可以看到，马上会报错，因为找不到相关的 jar 包。
Flume详细配置
weixin_36058293的博客
07-04 768
Flume： ===================== Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。 它有一个基于流数据的简单而灵活的体系结构。 它具有健壮性和容错能力，具有可调的可靠性机制和许多故障转移和恢复机制。 它使用一个简单的可扩展数据模型，允许在线分析应用程序。 source：源 ...
flume配置与启动
Nihility_Space的博客
10-14 670
flume主节点配置 ############################################ #  producer config ###########################################   #agent section producer.sources = s producer.channels = c producer.si
Flume1.9.0配置.docx
09-14
在本例中，我们使用了 flume-ng 命令来启动 Flume，指定了 Agent 的名称为 a1，配置文件路径为 conf，配置文件名称为 flume-client.properties。 六、Flume 的集群配置 在 Flume 的集群配置中，需要将 Flume 的...
Flume环境部署和配置详解及案例大全
09-15
Flume 的安装过程相对简单，一般包括下载最新版本的 Flume 包，将其解压缩至指定目录，然后配置环境变量（如 JAVA_HOME），最后启动 Agent。在实际部署中，根据需求可以配置多个 Agent 协同工作，形成一个灵活的、可...
flume与kafka整合高可靠教程
06-20
在 Flume 的配置文件中，我们添加了 Kafka Sink，用于将数据传输到 Kafka。同时，我们还需要在 Kafka 中创建对应的 Topic，以便 Flume 将数据传输到 Kafka。 四、总结 在本教程中，我们学习了如何将 Flume 与 ...
Flume学习文档(2){Flume安装部署、Flume配置文件}.docx
07-27
5. **启动Flume Agent**：启动Flume有两种命令格式，两种都指定配置文件位置和日志级别。例如： - `bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=...
Docker容器中运行flume及启动不输出运行日志问题
09-30
通过检查Docker容器的启动命令、日志驱动设置、Flume配置文件以及容器内的权限，通常可以找到解决问题的线索。一旦确定了问题所在，相应地调整配置或命令，即可使Flume的日志正常输出。在Docker环境中管理日志是运维...
Flume配置
m0_57320261的博客
06-17 209
配置
[转] flume使用（六）：后台启动及日志查看
weixin_30764771的博客
11-30 467
【From】https://blog.csdn.net/maoyuanming0806/article/details/80807087 处理的问题flume 普通方式启动会有自己自动停掉的问题，这可能是linux的进程机制把他停掉的原因。 普通运行方式： ./flume-ng agent -c ../conf -f ../conf/g01-taildir-avro-sink.co...
flume后台启动的脚本
First_____的博客
11-18 675
以启动file_flume_kafkaChannel.conf Flume配置服务为例: case $1 in "start") for i in hadoop101 hadoop102 do echo "$i正在启动flume服务------------" ssh $i "nohup /opt/module/flume/bin/flume-ng agent -c /opt/module/flume/conf/ -n a1 -f /
flume使用（六）：后台启动及日志查看
热门推荐
maoyuanming0806的博客
06-25 2万+
本文介绍flume后台启动方式，运行日志查看 处理的问题 flume后台运行 flume运行日志查看 nohup后台启动查看控制台日志 flume运行日志根据log4j.properties配置输出 处理的问题 flume 普通方式启动会有自己自动停掉的问题，这可能是linux的进程机制把他停掉的原因。 普通运行方式： ./flume-ng agen...
linux后台永久启动Kafka、Flume命令(测试通过）
lukabruce的博客
09-14 1万+
命令如下： （配置好环境变量，普通用户状态下：“$”代表普通用户，“#”代表root用户） 1 后台启动Kafka: $ nohup kafka-server-start.sh /home/espai/kafka/config/server.properties 1>/dev/null 2>&1 & 2 后台启动Flume:  首位也要加上nohup  ...
最全Flume常用配置文件详情解析
选择大于努力，所以你的选择是什么？
05-08 2191
最全Flume常用配置文件详情解析 Alienware^ 于 2020-08-19 21:08:09 发...
flume配置文件和实际场景理解
无
09-22 437
一、场景一描述： 线上api接口服务通过log4j往本地磁盘上打印日志，在接口服务器上安装flume，通过exec source收集日志，然后通过avro sink发送到汇总服务器上的flume；汇总服务器上的flume通过avro source接收日志，然后通过file_roll sink写到本地磁盘。 二、场景二描述：   线上api接口服务通过log4j往本地磁盘上打印日志，在接口...
一百九十一、Flume——Flume配置文件各参数含义（持续完善中）
tiantang2renjian的博客
10-19 1537
Flume配置文件各参数含义
flume采集msqlJava配置文件
05-21
以下是一个简单的 Flume 配置文件，用于使用 Flume 采集 MySQL 数据库中的数据： ...你需要将这个配置文件保存为 `.conf` 文件，并将其传递给 Flume，以启动代理并开始采集 MySQL 数据库中的数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值