实测基于springboot的Flume整合

最新推荐文章于 2024-07-23 21:41:01 发布
最新推荐文章于 2024-07-23 21:41:01 发布
阅读量935 收藏 3
点赞数
文章标签： spring boot flume java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48590993/article/details/121935126
版权

基于springboot的Flume整合

下载路径https://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
windows要是bin
解压Flume成功后，在E:\tools\apache-flume-1.9.0-bin\conf下新建文件example.conf

 # example.conf: A single-node Flume configuration
 
 # Name the components on this agent
 a1.sources = r1
 a1.sinks = k1
 a1.channels = c1
 
 # Describe/configure the source
 a1.sources.r1.type = avro
 a1.sources.r1.bind = 192.168.0.12
 a1.sources.r1.port = 44444
 
 # Describe the sink
 a1.sinks.k1.type = logger
 
 # Use a channel which buffers events in memory
 a1.channels.c1.type = memory
 a1.channels.c1.capacity = 1000
 a1.channels.c1.transactionCapacity = 100
 
 # Bind the source and sink to the channel
 a1.sources.r1.channels = c1
 a1.sinks.k1.channel = c1

里面的192.168.0.12要和下面logback.xml文件中保持一致

我存放到E:\tools\apache-flume-1.9.0-bin\下
在安装路径下bin下（E:\tools\apache-flume-1.9.0-bin\bin）执行

flume-ng.cmd agent -conf ../conf -conf-file ../conf/example.conf -name a1 -property flume.root.logger=INFO,console在这里插入图片描述

在这里插入图片描述
启动成功后。引入依赖

<!-- 引入logback-flume的依赖 -->
        <dependency>
            <groupId>com.teambytes.logback</groupId>
            <artifactId>logback-flume-appender_2.10</artifactId>
            <version>0.0.9</version>
        </dependency>

在resource下新建文件logback.xml。

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!-- 日志存放路径 -->
    	<property name="log.path" value="/data/webapps" />
<!--    <property name="log.path" value="D:\log"/>-->
    <!-- 日志输出格式 -->
    <property name="log.pattern" value="%d{HH:mm:ss.SSS} [%thread] %-5level %logger{20} - [%method,%line] - %msg%n"/>

    <!-- 控制台输出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>${log.pattern}</pattern>
        </encoder>
    </appender>

    <!-- 系统日志输出 -->
    <appender name="file_info" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}/sys-info.log</file>
        <!-- 循环政策：基于时间创建日志文件 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 日志文件名格式 -->
            <fileNamePattern>${log.path}/sys-info.%d{yyyy-MM-dd}.log</fileNamePattern>
            <!-- 日志最大的历史 60天 -->
            <maxHistory>60</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>${log.pattern}</pattern>
        </encoder>
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <!-- 过滤的级别 -->
            <level>INFO</level>
            <!-- 匹配时的操作：接收（记录） -->
            <onMatch>ACCEPT</onMatch>
            <!-- 不匹配时的操作：拒绝（不记录） -->
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>

    <appender name="file_error" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}/sys-error.log</file>
        <!-- 循环政策：基于时间创建日志文件 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 日志文件名格式 -->
            <fileNamePattern>${log.path}/sys-error.%d{yyyy-MM-dd}.log</fileNamePattern>
            <!-- 日志最大的历史 60天 -->
            <maxHistory>60</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>${log.pattern}</pattern>
        </encoder>
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <!-- 过滤的级别 -->
            <level>ERROR</level>
            <!-- 匹配时的操作：接收（记录） -->
            <onMatch>ACCEPT</onMatch>
            <!-- 不匹配时的操作：拒绝（不记录） -->
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>

    <!-- 用户访问日志输出  -->
    <appender name="sys-user" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}/sys-user.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 按天回滚 daily -->
            <fileNamePattern>${log.path}/sys-user.%d{yyyy-MM-dd}.log</fileNamePattern>
            <!-- 日志最大的历史 60天 -->
            <maxHistory>60</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>${log.pattern}</pattern>
        </encoder>
    </appender>

    <!-- 测试  -->
    <appender name="file666" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}/file666.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 按天回滚 daily -->
            <fileNamePattern>${log.path}/file666.%d{yyyy-MM-dd.HH}.log</fileNamePattern>
            <!--            <fileNamePattern>${log.path}/file666.%d{yyyy-MM-dd}/%d{HH}.log</fileNamePattern>-->
            <!--            <fileNamePattern>${log.path}/file666.%d{yyyy-MM-dd}.%d{HH}.log</fileNamePattern>-->
            <!-- 日志最大的历史 60天 -->
            <maxHistory>1440</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>${log.pattern}</pattern>
        </encoder>
    </appender>

    <!-- 加入如下appender代码 -->
    <appender name="flumeTest" class="com.teambytes.logback.flume.FlumeLogstashV1Appender">
        <flumeAgents>
            192.168.0.12:44444
        </flumeAgents>
        <flumeProperties>
            connect-timeout=4000;
            request-timeout=8000
        </flumeProperties>
        <batchSize>100</batchSize>
        <reportingWindow>1000</reportingWindow>
        <additionalAvroHeaders>
            myHeader = myValue
        </additionalAvroHeaders>
        <application>JustryDeng's Application</application>
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>
                %d{HH:mm:ss.SSS} %-5level %logger{36} - \(%file:%line\) - %message%n%ex
            </pattern>
        </layout>
    </appender>

    <logger name="com" level="info">
        <appender-ref ref="flumeTest"/>
    </logger>

    <!-- 系统模块日志级别控制  -->
    <logger name="com.example" level="info"/>
    <!-- Spring日志级别控制  -->
    <logger name="org.springframework" level="warn"/>

    <root level="info">
        <appender-ref ref="console"/>
    </root>

    <!--系统操作日志-->
    <root level="info">
        <appender-ref ref="file_info"/>
        <appender-ref ref="file_error"/>
    </root>

    <!--系统用户操作日志-->
    <logger name="sys-user" level="info">
        <appender-ref ref="sys-user"/>
    </logger>

    <logger name="com.example.admsredis.system" level="info">
        <appender-ref ref="file666"/>
    </logger>

</configuration>

在接口中加入log记录
在这里插入图片描述
Flume接收到消息

在这里插入图片描述

买个罐头吃西餐
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Springboot集成Flume对接kafka实现日志采集
weixin_45747620的博客
03-29 2075
一.flume的安装 安装JDK 1.8+ 配置JAVA_HOME环境变量-略 安装Flume下载地址http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bi n.tar.gz 3.解压安装flume [root@CentOS ~]# tar -zxf apache-flume-1.9.0-bin....
实测springboot Flume整合kafka
weixin_48590993的博客
12-15 273
springboot Flume整合kafka
SpringBoot之Flume整合Kafka
JustryDeng
03-11 2846
目录 准备工作 Flume整合Kafka 第一步：解压kafka_2.11-2.1.0.tgz文件，将kafka-clients-2.1.0.jar包拷贝至Flume安装目录下的lib文件夹中。 第二步：在flume安装目录下的conf文件夹下创建一个jaas配置文件kafka_client_jaas.conf。 第三步：修改Flume安装...
SpringBoot之Flume整合Logback
JustryDeng
03-11 4879
我还是喜欢比较浓一点的茶，比如，金骏眉。 前言： Kafka的确可以处理千万条甚至更多的数据，但是这些数据从哪里来呢？如果是处于开发中的项目，我们的确可以在代码中主动生产消息并推送到kafka；但如果是那些已经写好了的项目，该怎么将消息推送到kafka呢，此时我们就可以借助Flume等框架来完成数据的采集，进而推送给kafka。 Flume一定要结合日志框架(如：L...
SpringBoot集成Flume
路飞
03-29 3821
#### SpringBoot 集成 Flume 引入依赖 <!--Flume相关依赖--> <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-sdk</artifactId> <version>...
springboot + flume + kafka收集日志
qq_39749118的博客
10-09 1482
springboot 集成 flume 收集日志存储到 kafka中
Flume： ------ SpringBoot 集成
weixin_45764675的博客
06-14 883
Apache Flume flume官方用户指南网址 logback-flume-appender下载地址 引入依赖 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.0.6.RELEASE</ver
springboot logback整合flume
haoren1994的博客
07-09 3201
准备工作 安装过flume jdk kafka 并且会使用!!! 引入整合依赖 <!-- https://www.mvnjar.com/com.teambytes.logback/logback-flume-appender_2.10/0.0.9/detail.html --> <dependency> <groupI...
大数据技术之 Kafka---外部系统集成（Flume，SpringBoot）
阿里里的博客
08-17 858
kafka外部系统集成案例
kafka flume 整合
06-11
flume skin 直连kafka，kafka安装过程和flume配置样例，下载下来即可安装一个生产可用的日志采集系统
Flume整合Kafka.md
08-07
Flume整合Kafka,应用实践
springboot_log4j2_flume
02-23
Log4j直接发送数据到Flume + Kafka (方式一) 通过flume收集系统日记, 收集的方式通常采用以下. 系统logs直接发送给flume系统, 本文主要记录种方式进行说明. 文章链接,请看:...
flume与kafka整合高可靠教程
06-20
Flume 与 Kafka 整合高可靠教程 本篇教程旨在指导读者如何将 Flume 与 Kafka 整合，以实现高可靠的数据传输。在本教程中，我们将从安装 Kafka 和 Flume 开始，然后配置 Flume，使其将数据传输到 Kafka。 一、安装 ...
flume 采集springboot log 简单案例
06-17
springboot应用程序是一个利用 JdbcTemplate 简单查询的案例. flume 是1.9 的版本,官网可以下载. 安装也简单.
spring boot(学习笔记第十四课)
sealaugh32的专栏
07-20 1104
以上练习了基于内存的认证，实际上，正式的系统开发都是使用数据库进行认证，在这里练习使用使用数据库的用户数据进行认证。注意，这样公司的数据库里面是没有用户的明文密码，即使数据库泄露，也不会暴漏用户的明文密码。注意，每次生成的密码都不一样，但是每个生成的都好用。的认证处理，都会使用这个。
Spring Boot + Shiro 实现 Session 持久化实现思路及遗留问题
DN金猿的博客
07-23 159
从这个角度而言，我们可以通过 Session 监听器监听 Session 创建销毁，属性变更，并将所有创建的SessionId 存储起来，当要踢出某个用户时，用户的Request请求到来时判断Request中SessionId是否一致，一致的话令Session失效，从而实现这个功能！6、上图显示，我们可以拿到所有获得的session，并且内部用户信息无误，此时我们只需要将上述代码中的（1）、（2）打开在完全遵守Shiro的应用规则下理应可以删除对应用户！在用户基础服务中，需要实现删除用户功能。
Spring Boot 项目中使用事件发布和监听来实现消息推送和处理
servepeople的博客
07-23 429
首先，定义一个事件类，该类继承自import org} }} }
Spring Boot学习｜Stopwatch 在 Spring Boot 中的使用
最新发布
weixin_44435110的博客
07-23 1456
`Stopwatch` 是由 Apache Commons Lang 库提供的一种工具类，它允许你测量经过的时间。它可以用来追踪代码中某部分、方法或应用内任何流程的执行时间。它特别适用于性能分析和优化。
springboot flume
09-17
通过整合Flume和SpringBoot的依赖，可以实现将应用程序的日志数据发送到Flume Agent的功能。 在使用SpringBoot和Flume进行整合时，可以按照以下步骤进行操作： 1. 首先，在SpringBoot项目中引入logback-flume依赖，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值