Flume集成logback将日志写入HDFS

最新推荐文章于 2022-05-09 17:54:38 发布

问题不太大

最新推荐文章于 2022-05-09 17:54:38 发布

阅读量4.4w

点赞数

分类专栏：大数据 Flume 文章标签： flume

本文链接：https://blog.csdn.net/m283592338/article/details/117523529

版权

本文介绍了如何配置Flume，使用Kafka作为Channel，并结合Spring Boot和logback，实现日志直接写入Flume，最终将日志数据存储到HDFS。通过Maven添加Flume依赖，更新logback配置文件，然后进行测试验证，确保Flume能正确接收并传输日志。

摘要由CSDN通过智能技术生成

Flume集成logback将日志写入HDFS

Flume 配置文件(Kafka代替Flume Channel)

flume-test-conf.properties

# 组件命名
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# source
a1.sources.r1.type=avro
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=44444

#指定hdfs sink
a1.sinks.k1.type = hdfs
#hdfs目录，带有时间信息
a1.sinks.k1.hdfs.path = /flume/tailout/%Y-%m-%d/%H/
#生成的hdfs文件名的前缀
a1.sinks.k1.hdfs.filePrefix = events-
#指定滚动时间，默认是30秒，设置为0表示禁用该策略
a1.sinks.k1.hdfs.rollInterval = 3600
#指定滚动大小，设置为0表示禁用该策略
a1.sinks.k1.hdfs.rollSize = 200000000
#指定滚动条数
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.batchSize = 100
a1.sinks.k1.hdfs.useLocalTimeStamp = true

#副本策略
a1.sinks.k1.hdfs.minBlockReplicas=1
#生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本
a1.sinks.k1.hdfs.fileType = DataStream

# 指定Kafka替换Channel
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = kafka:9092
a1.channels.c1.kafka.topic = flume_channel_test
a1.channels.c1.kafka.consumer.group.id = flume-consumer-against_cheating_01
a1.channels.c1.kafka.consumer.timeout.ms = 70000
a1.channels.c1.kafka.consumer.request.timeout.ms = 80000
a1.channels.c1.kafka.consumer.fetch.max.wait.ms=7000
a1.channels.c1.kafka.consumer.offset.flush.interval.ms = 50000
a1.channels.c1.kafka.consumer.session.timeout.ms = 70000
a1.channels.c1.kafka.consumer.heartbeat.interval.ms = 60000
a1.channels.c1.kafka.consumer.enable.auto.commit = false
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 组件绑定
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

Spring Boot + logback集成Flume

Flume作为一个采集工具，它除了可以自行监控日志文件，也可以配合logback实现日志直接打印到Flume中。

Maven新增Flume依赖

		<dependency>
            <groupId>com.teambytes.logback</groupId>
            <artifactId>logback-flume-appender_2.10</artifactId>
            <version>0.0.9</version>
        </dependency>

logback配置
springboot项目中resources文件夹下新增logback-spring.xml配置文件，内容如下

<?xml version="1.0" encoding="UTF-8"?>

<configuration>

    <appender name="consoleAppender"
              class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{yyy MMM dd HH:mm:ss.SSS} [%thread] %-5level %logger{36}:%L- %msg%n
            </pattern>
        &