Flume 日志采集启动停止脚本

  1. 背景
    一般我们在实际的生产环境中,进行日志采集的时候一般都是,写一个脚本的,不可能一台一台机器上去登录进行开启flume或者停止flume,那样效率就太低了,于是我们就需要开发一个脚本来启动和关闭。

    #! /bin/bash
    
    case $1 in
    "start"){
         
           for i in s102 s103
           do
                   echo " --------启动 $i 采集flume-------"
                   ssh $i "nohup /opt/module/flume/bin/flume-ng agent --conf-file /opt/modu
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flume是一个可靠、可扩展的分布式服务,用于高效地收集、聚合和移动大量的日志数据和事件。 Flume采用了基于数据流的体系结构,其主要目的是将数据从不同的数据源(例如Web服务器、数据库等)采集并将其传输到目标位置(例如Hadoop、Elasticsearch等)。在日志采集中,Flume通常被用作采集工具,它可以将日志数据收集到集中的位置,方便后续处理和分析。 Flume的体系结构由三个主要组件组成:Source、Channel和Sink。Source用于从数据源中获取数据,例如从日志文件、网络接口、系统日志等收集数据。Channel是一种缓冲机制,用于将数据从Source传输到Sink。Sink负责将数据发送到目标位置,例如将日志数据写入Hadoop HDFS或Apache Kafka等分布式消息系统中。Flume支持不同的Source和Sink,因此可以很容易地对不同类型的数据源进行采集和分发。 在使用Flume构建日志采集系统时,可以使用以下步骤: 1.选择和配置Source,例如使用TailSource从文件中收集日志数据。 2.选择和配置Channel,例如使用MemoryChannel将数据保存在内存中进行传输。 3.选择和配置Sink,例如使用HDFSSink将数据写入Hadoop HDFS中。 4.设置事件处理器,例如使用Interceptors进行数据转换和转发。 5.启动Flume Agent并监视其状态。 通过这些步骤,可以使用Flume快速构建高可用、高扩展性的日志采集系统。Flume还提供了灵活的配置选项和监视工具,可以方便地对系统进行管理和维护。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值