第三章：Flume、项目重构实现日志数据自动收集保存

最新推荐文章于 2024-05-05 15:59:28 发布
最新推荐文章于 2024-05-05 15:59:28 发布
阅读量3.9k 收藏 20
点赞数 14
分类专栏： 课堂笔记 文章标签： 大数据 flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dcc15011003101/article/details/106219535
版权

目录

Flume

重要概念

Flume多级流动

Flume的扇入扇出

Flume的优势

Flume的安装

配置

启动

测试

flume.properties详解

练习案例

Source练习

avro

Spooldir

Channel练习

Sink练习

Logger

Avro

HDFS

集群部署

案例练习

多级

扇入

扇出

项目、Flume、HDFS整合

log4j和flume整合

配置log4j.properties

Flume和HDFS整合

配置flume.properties

Flume

分布式日志收集系统

支持接收多种数据来源，可以对日志信息进行简单处理，然后写出到数据存储系统中。

重要概念

Event：事件，数据载体，flume将日志数据包装成event进行传输处理，其结构非常简单，就是json串。Eg：{“headers”:info,”body”:info}其中headers中的数据允许自定义的一些内容。Body中的数据就是日志本身。

Agent：代理，flume集群中，每个节点都是一个agent，包含了flume单节点：接受、封装、承载、传输event到目的地的过程。这个过程中包含三部分（source、channel、sink）。

Source：数据源，接收日志信息并将其包装为一个一个的event，传到channel中。

Channel：通道，被动接收source传来的数据，并缓存，等待sink的消费。一般以内存资源作为缓存，所以要设置最大容量。

Sink：水槽，指定该agent数据传输的目的地，消费channel中的数据，发送到目的地，这个目的地可以是数据存储模块或者其他的agent。

上图表示：利用flume将webserver产生的日志，传输到HDFS中保存的过程。

 

 

 

Flume多级流动

 

Flume的扇入扇出

扇入：多个数据来源一起流进同一个agent中。

 

扇出：一个agent中的数据流向多个数据出处。

 

 

Flume的优势

基于flume的多级流动，扇入扇出，可以实现非常复杂的拓扑结构，适应处理几乎任何场景的数据。

 

 

Flume的安装

在有JDK环境的前提下，/home/app目录上传解压即可。

配置

vim flume.properties
a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1



a1.sources.r1.type  =  http

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



a1.sinks.k1.type  =  logger



a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

 

启动

在/home/app/apache-flume-1.9.0-bin/conf目录下执行

../bin/flume-ng agent -c ./ -f ./flume.properties -n a1 -Dflume.root.logger=INFO,console

 

 

测试

flume启动后占用当前窗口，复制一个新的窗口在任意目录下执行以下

curl -X POST -d '[{"headers":{"tester":"tony"},"body":"hello http flume"}]' http://hadoop01:22222

 

flume.properties详解

Flume配置文件主要为配置agent内容。若值为多个，空格隔开

                     #a1为自定义的agent名字，与启动命令中的-n属性对应

a1.sources  =  r1     #定义agent的数据源source，可以有多个。

a1.sinks  =  k1       #定义agent的数据出处，可以有多个。

a1.channels  =  c1    #定义agent的通道，一般有多少个sink就有多少个channel



a1.sources.r1.type  =  avro      #指定source的类型为avro

a1.sources.r1.bind  =  0.0.0.0   #指定source的来源。一般为本机，被动接收。

a1.sources.r1.port  =  22222     #指定端口



a1.sinks.k1.type  =  avro    #指定sink的类型为avro

a1.sinks.k1.hostname  =  192.168.65.162      #指定sink的目标节点IP

a1.sinks.k1.port  =  22222       #指定目标端口



a1.channels.c1.type  =  memory       #指定channel的类型为 内存

a1.channels.c1.capacity  =  1000     #指定存储容量，避免强制抢占内存影响其他进程的正常运行

a1.channels.c1.transactionCapacity  =  100  #指定事务容量



a1.sources.r1.channels  =  c1    #绑定source

a1.sinks.k1.channel  =  c1       #绑定sink

 

练习案例

 

Source练习

 

avro

修改flume.properties

a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1

a1.sources.r1.type  =  avro
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222

a1.sinks.k1.type  =  logger

a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100

a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

1.在/home/data下创建文件log.txt并编辑添加数据

2.在flume安装目录下的conf目录下执行命令启动agent

3.模拟发送avro在flume的bin目录下执行：

./flume-ng avro-client -c ../conf -H hadoop01 -p 22222 -F /home/data/log.txt

 

Spooldir

a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1

a1.sources.r1.type  =  spooldir
a1.sources.r1.spoolDir = /home/data/spooldir

a1.sinks.k1.type  =  logger

a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100

a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1
  1. 在/home/data目录下创建文件夹spooldir
  2. 启动
  3. 在spooldir中vim文件并添加内容并保存。发现flume日志中打印编辑内容。

Channel练习

channel部分一般都以内存为资源基础

a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1



a1.sources.r1.type  =  http

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



a1.sinks.k1.type  =  logger



a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

 

Sink练习

 

Logger

a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1



a1.sources.r1.type  =  http

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



a1.sinks.k1.type  =  logger



a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

 

Avro

a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1



a1.sources.r1.type  =  avro

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



a1.sinks.k1.type  =  avro

a1.sinks.k1.hostname  =  hadoop02

a1.sinks.k1.port  =  22222



a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

 

HDFS

a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1


a1.sources.r1.type  =  http
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222

a1.sinks.k1.type  =  hdfs
a1.sinks.k1.hdfs.path  =  hdfs://hadoop01:9000/flume/data
a1.sinks.k1.serializer = text
a1.sinks.k1.serializer.appendNewline = false

a1.channels.c1.type  =  memory
a1.channels.c1.capacity  =  1000
a1.channels.c1.transactionCapacity  =  100

a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1

 

集群部署

 

Hadoop01：JDK、Hadoop、Flume

Hadoop02：JDK、Flume

Hadoop03：JDK、Flume

只需要将hadoop01安装好的Flume文件夹发送到02 03两个节点相应的位置即可。

 

案例练习

多级

Hadoop01

a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1



a1.sources.r1.type  =  http

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



a1.sinks.k1.type  =  avro

a1.sinks.k1.hostname  =  hadoop02

a1.sinks.k1.port  =  22222



a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

hadoop02

a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1



a1.sources.r1.type  =  avro

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



a1.sinks.k1.type  =  avro

a1.sinks.k1.hostname  =  hadoop03

a1.sinks.k1.port  =  22222



a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

 

hadoop03

a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1



a1.sources.r1.type  =  avro

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



a1.sinks.k1.type  =  logger



a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

 

扇入

Hadoop01

a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1



a1.sources.r1.type  =  http

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



a1.sinks.k1.type  =  avro

a1.sinks.k1.hostname  =  hadoop03

a1.sinks.k1.port  =  22222



a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

 

Hadoop02

a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1



a1.sources.r1.type  =  http

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



a1.sinks.k1.type  =  avro

a1.sinks.k1.hostname  =  hadoop03

a1.sinks.k1.port  =  22222



a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

 

Hadoop03

a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1



a1.sources.r1.type  =  avro

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



a1.sinks.k1.type  =  logger



a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

 

 

扇出

Hadoop01

a1.sources  =  r1

a1.sinks  =  k1 k2

a1.channels  =  c1 c2



a1.sources.r1.type  =  http

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



a1.sinks.k1.type  =  avro

a1.sinks.k1.hostname  =  hadoop02

a1.sinks.k1.port  =  22222



a1.sinks.k2.type  =  avro

a1.sinks.k2.hostname  =  hadoop03

a1.sinks.k2.port  =  22222



a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



a1.channels.c2.type  =  memory

a1.channels.c2.capacity  =  1000

a1.channels.c2.transactionCapacity  =  100



a1.sources.r1.channels  =  c1 c2

a1.sinks.k1.channel  =  c1

a1.sinks.k2.channel  =  c2

 

Hadoop02

a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1



a1.sources.r1.type  =  avro

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



a1.sinks.k1.type  =  logger



a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

 

Hadoop03

a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1



a1.sources.r1.type  =  avro

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



a1.sinks.k1.type  =  logger



a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

 

项目、Flume、HDFS整合

log4j和flume整合

配置log4j.properties

log4j.rootLogger = info,stdout,flume



log4j.appender.stdout = org.apache.log4j.ConsoleAppender

log4j.appender.stdout.Target = System.out

log4j.appender.stdout.layout = org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern = %m%n



# appender flume

log4j.appender.flume = org.apache.flume.clients.log4jappender.Log4jAppender

log4j.appender.flume.Hostname = hadoop01

log4j.appender.flume.Port = 22222

log4j.appender.flume.UnsafeMode = true

 

Flume和HDFS整合

配置flume.properties

#命名Agent a1的组件

a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1



#描述/配置Source

a1.sources.r1.type  =  avro

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  22222



#描述Sink

a1.sinks.k1.type  =  hdfs

a1.sinks.k1.hdfs.path = hdfs://hadoop01:9000/jt/data

a1.sinks.k1.hdfs.fileType=DataStream
a1.sinks.k1.serializer = text
a1.sinks.k1.serializer.appendNewline = false


#描述内存Channel

a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000

a1.channels.c1.transactionCapacity  =  100



#为Channle绑定Source和Sink

a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

​​​​​​​

进阶:自定义Sink

pom

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>cn.tedu</groupId>
    <artifactId>flume</artifactId>
    <version>1.0-SNAPSHOT</version>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flume.flume-ng-sinks</groupId>
            <artifactId>flume-hdfs-sink</artifactId>
            <version>1.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flume.flume-ng-sinks</groupId>
            <artifactId>flume-hive-sink</artifactId>
            <version>1.9.0</version>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.14</version>
        </dependency>

    </dependencies>
</project>

 

代码

package cn.tedu.flume;

import org.apache.flume.*;
import org.apache.flume.conf.Configurable;
import org.apache.flume.sink.AbstractSink;
import org.slf4j.LoggerFactory;
import org.slf4j.Logger;

/**
 * 自定义flume-sink
 */
public class MySink extends AbstractSink implements Configurable {
    private static final Logger LOG = LoggerFactory.getLogger(MySink.class);

    public Status process() throws EventDeliveryException {
        Status stat;
        Channel channel = getChannel();
        Transaction transaction = channel.getTransaction();
        Event event;
        transaction.begin();

        while(true){
            event = channel.take();
            if(event != null){
                break;
            }
        }

        try {
            LOG.info(new String(event.getBody()));
            LOG.info("输出在这里");
            transaction.commit();
            stat = Status.READY;
        } catch (Exception e) {
            e.printStackTrace();
            transaction.rollback();
            stat = Status.BACKOFF;
        } finally {
            transaction.close();
        }

        LOG.info(stat.toString());
        return stat;
    }

    public void configure(Context context) {

    }
}

打成jar包上传至flume安装目录中的lib目录下

修改配置文件

mysink.properties

a1.sources  =  r1
a1.sinks  =  k1
a1.channels  =  c1

a1.sources.r1.type  =  http
a1.sources.r1.bind  =  0.0.0.0
a1.sources.r1.port  =  22222 

a1.sinks.k1.type  =  cn.tedu.flume.MySink

a1.channels.c1.type  =  memory 
a1.channels.c1.capacity  =  1000 
a1.channels.c1.transactionCapacity  =  100

a1.sources.r1.channels  =  c1
a1.sinks.k1.channel  =  c1
../bin/flume-ng agent -c ./ -f ./mysink.properties -n a1 -Dflume.root.logger=INFO,console

 

给dongcc换成百威
关注
专栏目录
flume+java应用_基于Flume+Log4j+Kafka的日志采集架构方案
weixin_29466045的博客
03-04 260
本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。Flume 基本概念Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、Sink三个最基本的概念：Source——日志来源，其中包括：Avro Source、Thrift Source、Exec Source、JMS...
Flume + kafka + log4j构建日志采集系统
08-30
Flume + kafka + log4j构建日志采集系统，附实例及文档。
Flume日志采集应用架构升级与重构
weixin_33827731的博客
12-25 79
转眼新的一年又快要来了，趁着这段时间总结下这一年的工作经验，避免重复踩坑。MOB数据采集平台升级也快经历了半年时间，目前重构后线上运行稳定，在这过程中挖过坑，填过坑，为后续业务的实时计算需求打下了很好的基础。 一、升级与重构的原因 上图为旧有架构，主要服务于Hadoop2.x离线计算(T+1)以及Spark的实时计算（T+0），但在数据...
flume+log4j+mysql日志格式化 方便收集_Mybatis之Log4j实现日志说明及Limit实现分页
weixin_39570505的博客
11-28 113
Mybatis内置的日志工厂提供日志功能，具体的日志实现有多种工具，本篇主要说明Log4j工具。一、普通标准日志实现首先我们介绍普通的标准日志实现，具体操作为：在配置文件mybatis-config.xml中的标签的下一位加入标签，普通的标准日志实现name与value值内容格式为固定值【注意：此处必须完全一致，不可有任何出入，否则会报错】加入后，可以在正常运行测试代码时在控制台打印输出...
Flume原理解析
weixin_34160277的博客
05-12 106
Flume原理解析阅读目录(Content)一、Flume简介二、Flume特点三、Flume的一些核心概念3.1、Agent结构　　3.2、source3.3、Channel3.4、Sink四、Flume拦截器、数据流以及可靠性4.1、Flume拦截器4.2、Flume数据流4.3、Flume可靠性五、Flume使用场景5.1、多个agent顺序连接5.2、多个Agent的...
2024年最全nginx+flume网络流量日志实时数据分析实战_日志数据分析，2024年最新稳进大厂
最新发布
2401_84181626的博客
05-05 827
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。当前Flume有两个版本。
nginx+flume网络流量日志实时数据分析实战_日志数据分析
m0_60707538的博客
04-06 357
除了政府和公益类网站之外，大多数网站的目的都是为了产生货币收入，说白了就是赚钱。要创建出用户需要的网站就必须进行网站分析，通过分析，找出用户实际需求，构建出符合用户需求的网站。网站分析，可以帮助网站管理员、运营人员、推广人员等实时获取网站流量信息，并从流量来源、网站内容、网站访客特性等多方面提供网站分析的数据依据。从而帮助提高网站流量，提升网站用户体验，让访客更多的沉淀下来变成会员或客户，通过更少的投入获取最大化的收入。
Flume-分布式日志采集
qq_36915093的博客
02-06 709
一.Flume的概述 Flume是什么 1.flume能做什么 Flume是一种分布式(各司其职)，可靠且可用的服务，用于有效地收集，聚合(比如某一个应用搭建集群，在做数据分析的时候，将集群中的数据汇总在一起)和移动大量日志数据。Flume构建在日志流之上一个简单灵活的架构。 2.flume的特性 ①它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。使用Flume这套架构实现对日志...
Flume_日志收集工具
xike1024的博客
06-16 501
目录 一、前言 二、简介 2.1 概述 2.2 发展历程 2.3 基本思想及特点 三、Flume NG 基本架构 3.1 基本架构 3.2 Agent 内部组件 1、Source 2、Channel 3、Sink 3.3 高级组件 1、Interceptor 2、Channel Selector 3、Sink Processer 四、Flume NG 数据流拓扑构建方法 4.1 如何构建数据流拓扑 4.2 流式数据获取方式 4.2 常见拓扑架构 1、多路合并 .
logback flume appender
05-02
web项目通过logback把日志输出到flume中用到的jar包。
logback-flume-appender:Logback追加程序将日志消息转发到Flume代理
05-11
logback-flume-appender Logback追加程序将日志消息转发到Flume代理 配置条目 application ：应用程序名称，如果未设置，则将从application.name系统属性中推断出来 hostname ：主机名，如果未设置，则通过Box主机名通过InetAddress.getLocalHost().getHostName()进行推断InetAddress.getLocalHost().getHostName() type ：日志类型，如果未设置，将被忽略 flumeAgents ：以逗号分隔的{hostname}:{port}格式的flume avro代理列表 flumeProperties ：用于创建以{key}={value}格式分隔的Fume RpcClient的其他属性; batchSize ：设置要报告的事件的批次大小，覆盖默认值50
LogDemox 收集信息通过log4j直接打到flume中
04-20
LogDemox 收集信息通过log4j直接打到flume中，进行日志收集
springboot (logback) flume kafka 整合
lbzheng的博客
07-09 1067
小编是个新人，见谅 首先构建一个springBoot 项目 这里就不过多介绍 1 导入依赖 <dependency> <groupId>com.teambytes.logback</groupId> <artifactId>logback-flume-appender_2.10</artifactId> ...
springboot logback整合flume
haoren1994的博客
07-09 3219
准备工作 安装过flume jdk kafka 并且会使用!!! 引入整合依赖 <!-- https://www.mvnjar.com/com.teambytes.logback/logback-flume-appender_2.10/0.0.9/detail.html --> <dependency> <groupI...
SpringBoot之Flume整合Logback
JustryDeng
03-11 4941
我还是喜欢比较浓一点的茶，比如，金骏眉。 前言： Kafka的确可以处理千万条甚至更多的数据，但是这些数据从哪里来呢？如果是处于开发中的项目，我们的确可以在代码中主动生产消息并推送到kafka；但如果是那些已经写好了的项目，该怎么将消息推送到kafka呢，此时我们就可以借助Flume等框架来完成数据的采集，进而推送给kafka。 Flume一定要结合日志框架(如：L...
第4.1.1章 logback与flume集成
warrah 南极狼
12-11 5606
logback-flume-appender插件 * logback.xml相关配置* 下图中我将trace级别的日志输出到flume中，因为平常项目中，我们经常用的是info、error、debug&lt;property resource=&quot;properties/config.properties&quot; /&gt;&lt;!-- hadoop目录格式为：/%Y%m%d/%{application}/%{dir}
Flume 海量日志收集利器
JeremyJiaming的博客
03-01 575
Flume 海量日志收集利器 关于日志收集 服务器日志收集 服务器日志是大数据系统中最主要的数据来源之一 服务器日志可能包含的信息 访问信息 系统信息 其他业务信息 基于服务器日志的应用 业务仪表盘：PV、UV等 线上查错：错误日志查询 系统监控：调用链、接口访问统计等 其他数据应用 服务器日志的特点： 不间断，流式产生 数据量大，信息量大 源头分散 日志采集系统的一般架构 ...
ICC副本>>>>(logback+flume+kafka+storm系统)
damowang_xxx的博客
11-16 2262
日志监控系统 技术选型 logback+flume+kafka+storm  基本思路：  1、logback 在项目中作为日志的输出，appender指向flume，主动推送日志  2.、fluem作为日志收集块,将日志获取到之后。sink定向到不同的地方  3、 flume的sink定向到kafka作为kafka的producer,发布一个topic  4、strom的 spout
Hadoop数据导入导出：Flume日志采集与部署教程
3. 数据收集定制：Flume支持自定义数据发送方，可以根据具体需求选择不同的方式收集数据，例如从控制台、RPC接口、文本文件或TCP/IP套接字接收数据。 4. 数据处理与写入：Flume不仅负责数据的收集，还具备基本的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值