日志采集工具之Flume实操-上

已于 2022-07-11 16:29:59 修改
阅读量1.5k 收藏 3
点赞数 3
分类专栏： 数据开发 文章标签： flume 大数据
于 2022-07-11 10:58:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoleilei666/article/details/125715463
版权

一、Flume概述

  1. flume是一个分布式、可靠且可用的系统，用于有效地收集、聚合和将大量来自许多不同来源的日志数据移动到集中式数据存储。

  2. flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

  3. Agent结构
    flume运行的核心是Agent，flume以agent为最小的独立运行单位。一个agent就是一个jvm。它是一个完整的数据收集工具，含有三个核心组件，分别是source、channel、sink。通过这些组件，Event可以从一个地方流向另一个地方，如下图所示：
    在这里插入图片描述
    二、Flume安装

  4. 具体操作

（1）将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下
（2）解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下
[yili@hadoop102 software]$ tar -zxf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/
（3）修改apache-flume-1.9.0-bin的名称为flume-1.9.0
[yili@hadoop102 module]$ mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume-1.9.0
（4）将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3
[yili@hadoop102 module]$ rm /opt/module/flume-1.9.0/lib/guava-11.0.2.jar
注意：删除guava-11.0.2.jar的服务器节点，一定要配置hadoop环境变量。否则会报如下异常。
Caused by: java.lang.ClassNotFoundException: com.google.common.collect.Lists
        at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 1 more
（5）修改conf目录下的log4j.properties配置文件，配置日志文件路径
[yili@hadoop102 conf]$ vim log4j.properties
flume.log.dir=/opt/module/flume-1.9.0/logs

三、Flume配置概述

  1. 需求分析
    （1） 按照规划，需要将采集的用户行为日志文件分布在hadoop102、hadoop103两台日志服务器，故需要在hadoop102、hadoop103两台节点配置日志采集flume。
    （2）日志采集flume需要采集日志文件内容，并对日志格式（Json）进行校验，然后将校验通过的日志发送到kafka。

  2. 配置选择
    （1）此处可选择TailDirSource和KafkaChannel，并配置日志校验拦截器。

  3. 原因说明
    （1）TailDirSource
    TailDirSource相比ExecSource、SpoolingDirectorySource，有以下的优势：
    1）TailDirSource：断点续传、多目录（可以实时监控目录下文件变化）。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传。
    2）ExecSource可以实时监控文件变化，但是在Flume不运行或者Shell命令出错的情况下，数据将会丢失。
    3）SpoolingDirectorySource支持断点续传，但不能实时监控文件变化。
    （2）KafkaChannel
    采用KafkaChannel，省去了Sink，提高了效率。
    1）FileChannel
    数据存储在磁盘中，可靠性高、效率低；
    2）MemoryChannel
    数据存储在内存中，可靠性差、效率高；
    3）KafkaChannel
    数据存储在kafka中，可靠性高、效率高；

  4. 关键配置
    在这里插入图片描述
    四、flume生产者配置实操

  5. 创建flume配置文件

在hadoop102节点的Flume的job目录下创建file_to_kafka.conf
[yili@hadoop104 flume-1.9.0]$ mkdir job
[yili@hadoop104 flume-1.9.0]$ vim job/file_to_kafka.conf

10.配置文件内容填写：

#定义组件
a1.sources=r1
a1.channels=c1
#配置source
a1.sources.r1.type=TAILDIR
a1.sources.r1.filegroups=f1
a1.sources.r1.filegroups.f1=/opt/module/applog/log/app.*
a1.sources.r1.positionFile=/opt/module/flume-1.9.0/taildir_position.json
#配置拦截器[etl数据清洗、判断json是否完整]
a1.sources.r1.interceptors=i1
a1.sources.r1.interceptors.i1.type=com.yili.flume.interceptor.ETLInterceptor$Builder
#配置channel
a1.channels.c1.type=org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.channels.c1.kafka.topic=topic_log
a1.channels.c1.parseAsFlumeEvent=false
#配置sink(暂时没有)
#拼接组件
a1.sources.r1.channels=c1
  1. 编写Flume拦截器
    （1）创建Maven工程flume-interceptor
    （2）创建包：com.atguigu.flume.interceptor
    （3）在pom.xml文件中添加如下配置
 <dependencies>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.9.0</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.62</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3.2</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

2）创建JSONUtils类

package com.yili.flume.util;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONException;
import com.alibaba.fastjson.JSONObject;
import org.apache.commons.lang.StringUtils;

import java.util.HashMap;
import java.util.Map;

public class JSONUtils {

    public static void main(String[] args) {
        System.out.println(isJSONValidate("2222"));
    }

    /**
     * Bean对象转JSON
     *
     * @param object
     * @param dataFormatString
     * @return
     */
    public static String beanToJson(Object object, String dataFormatString) {
        if (object != null) {
            if (StringUtils.isEmpty(dataFormatString)) {
                return JSONObject.toJSONString(object);
            }
            return JSON.toJSONStringWithDateFormat(object, dataFormatString);
        } else {
            return null;
        }
    }

    /**
     * Bean对象转JSON
     *
     * @param object
     * @return
     */
    public static String beanToJson(Object object) {
        if (object != null) {
            return JSON.toJSONString(object);
        } else {
            return null;
        }
    }

    /**
     * String转JSON字符串
     *
     * @param key
     * @param value
     * @return
     */
    public static String stringToJsonByFastjson(String key, String value) {
        if (StringUtils.isEmpty(key) || StringUtils.isEmpty(value)) {
            return null;
        }
        Map<String, String> map = new HashMap<String, String>();
        map.put(key, value);
        return beanToJson(map, null);
    }

    /**
     * 将json字符串转换成对象
     *
     * @param json
     * @param clazz
     * @return
     */
    public static Object jsonToBean(String json, Object clazz) {
        if (StringUtils.isEmpty(json) || clazz == null) {
            return null;
        }
        return JSON.parseObject(json, clazz.getClass());
    }

    /**
     * json字符串转map
     *
     * @param json
     * @return
     */
    @SuppressWarnings("unchecked")
    public static Map<String, Object> jsonToMap(String json) {
        if (StringUtils.isEmpty(json)) {
            return null;
        }
        return JSON.parseObject(json, Map.class);
    }

    public static boolean isJSONValidate(String log) {
        try {
            JSON.parse(log);
            return true;
        } catch (JSONException e) {
            return false;
        }
    }
}

3）创建LogInterceptor类

package com.yili.flume.interceptor;

import com.alibaba.fastjson.support.hsf.HSFJSONUtils;
import com.yili.flume.util.JSONUtils;
import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.nio.charset.StandardCharsets;
import java.util.Iterator;
import java.util.List;

public class ETLInterceptor implements Interceptor {
    @Override
    public void initialize() {

    }

    @Override
    public Event intercept(Event event) {
        //取数据，后进行校验
        //1. 获取数据
        byte[] body = event.getBody();
        String log = new String(body, StandardCharsets.UTF_8);
        //2. 校验数据
        if (JSONUtils.isJSONValidate(log)) {
            return event;
        } else {
            return null;
        }
    }

    @Override
    public List<Event> intercept(List<Event> list) {
        Iterator<Event> iterator = list.iterator();
        while (iterator.hasNext()) {
            Event event = iterator.next();
            if (intercept(event) == null) {
                iterator.remove();
            }
        }
        return list;
    }

    @Override
    public void close() {

    }

    public static class Builder implements Interceptor.Builder {

        @Override
        public Interceptor build() {
            return new ETLInterceptor();
        }

        @Override
        public void configure(Context context) {

        }
    }
}

4）打包
在这里插入图片描述
5）需要先将打好的包放入到hadoop102的/opt/module/flume-1.9.0/lib文件夹下面。

  1. 日志采集Flume测试
1）启动Zookeeper、Kafka集群
2）启动hadoop102的日志采集Flume
[yili@hadoop102 flume-1.9.0]$ bin/flume-ng agent -n a1 -c conf/ -f job/file_to_kafka.conf -Dflume.root.logger=info,console
3）启动一个Kafka的Console-Consumer
[yili@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic topic_log
4）生成模拟数据
[yili@hadoop102 ~]$ lg.sh 
5）观察Kafka消费者是否能消费到数据
技匠三石弟弟
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume13：Flume的优化
weixin_40612128的博客
03-04 1535
一、Flume优化 1、调整Flume进程的内存大小， 建议设置1G~2G，太小的话会导致频繁GC 因为Flume进程也是基于Java的，所以就涉及到进程的内存设置，一般建议启动的单个Flume进程(或者说单个Agent)内存设置为1G~2G，内存太小的话会频繁GC，影响Agent的执行效率。 那具体设置多少合适呢？ 这个需求需要根据Agent读取的数据量的大小和速度有关系，所以需要具体情况具体分析，当Flume的Agent启动之后，对应就会启动一个进程，我们可以通过jstat -gcutil PID 10
flume 对指定日志进行读取
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-06 810
本实验任务主要完成基于ubuntu环境使用flume对指定目录下的日志文件进行读取，通过完成本实验任务，要求学生了解并掌握flume对指定数据文件内容的获取，为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。掌握flume的应用原理   掌握flume对日志信息的采集过程本次环境是：Ubuntu16.04+flume-ng-1.5.0-cdh5.3.6Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对
Flume日志采集流程(log-＞kafka-＞hdfs)
Mogeko1的博客
03-24 1510
Flume日志采集流程(log->kafka->hdfs)
大数据——FLUME
qq_23025855的博客
05-07 528
一、概述 flume是一种分布式，可以从各种数据源进行收集，聚集和转移大数据量的日志数据并进行存储的一种存储系统 二、版本 flume分为0.9.x和1.0.x两个版本，这两种版本并不兼容 三、概念和模型 event：flume事件，可以理解被定义为一个具有有效荷载的字节数据流和可选的字符串属性集，event将传输的数据进行封装，是flume传输数据的基本单位 agent：flume代...
2023年全国职业院校技能大赛-赛题第05套-GZ033 大数据应用开发
君逍遥o
06-28 1477
服务端登录地址详见各任务服务端说明。 补充说明：宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。
apache-flume-1.5.0-cdh5.3.6-bin.zip
03-15
大数据日志收集工具 flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh5.3.6。 大数据日志收集工具flume-1.5.0-cdh...
flume-ng-sql-source-1.5.2
10-12
总之，Flume-ng-sql-source-1.5.2为Flume增加了强大的SQL数据源能力，使得数据采集范围扩大到了结构化数据领域，这对于构建实时数据处理和分析系统至关重要。通过对源码的深入理解和使用，可以更高效地利用这一工具...
flume-interceptor-1.0-SNAPSHOT.jar
08-16
注意：flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-...
Flume-ng-1.6.0-cdh.zip
04-08
Flume-ng-1.6.0-cdh.zip 内压缩了 3 个项目，分别为：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz 和 flume-ng-1.6.0-cdh5.10.1.tar.gz，选择你需要的版本。
Flume构建高可用、可扩展的海量日志采集系统
10-31
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可...
日志采集Flume配置
想练武，就得下功夫
07-08 562
日志采集 Flume 配置
Flume
weixin_51631347的博客
09-23 491
flume的学习笔记
Flume实时数据采集
最新发布
weixin_62687791的博客
01-24 2162
1、 在主节点使用Flume采集实时数据生成器10050端口的socket数据（实时数据生成器脚本为主节点/data_log目录下的dj_data_gen脚本，该脚本为主节点本地部署且使用socket传输），将数据存入到Kafka的Topic中（Topic名称为order，分区数为4），使用Kafka自带的消费者消费order（Topic）中的数据，将前2条数据的结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下；
使用Flume采集Log4j产生的日志
彪悍大蓝猫的博客
10-24 1390
版本：Flume1.6.0 1.首先加入log4j to flume appender <!-- log4j 与 flume-ng做通信 --> <dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> ...
Flume启动报错，说系统找不到指定文件
weixin_64542139的博客
03-27 1657
Flume 日志文件路径不正确：如果在 Flume 启动时指定了日志文件路径，但该路径不正确，你将会看到这个错误。请检查日志文件路径是否正确，并确保在启动 Flume 时指定了正确的日志文件路径。Flume 配置文件路径不正确：请检查你的 Flume 配置文件路径是否正确，并确保在启动 Flume 时指定了正确的配置文件路径。缺少必要的库文件：如果你的系统缺少必要的库文件，Flume 启动时也可能会报错。请检查你的系统是否安装了所有必要的库文件，并确保它们已正确配置。
Flume实时采集日志到Kafka（极简版）
热门推荐
Abysscarry的博客
04-01 1万+
背景： 由于项目采用微服务架构，业务日志文件数量较多，我做了个简单的日志监控服务，先在此分享下日志采集的简单步骤，没有任何花里胡哨 ~（ps：一切数据到了 kafka就非常好解决了！） 一、Flume安装 Flume的安装使用可以说非常简单，直接进官网：http://flume.apache.org/ 最新是1.9.0版本，我们选择1.8.0版本下载。 然后在Linux下解压： 配置用...
flume系列之：日志配置文件log4j.properties
zhengzaifeidelushang的博客
01-20 912
flume系列之：日志配置文件log4j.properties一、Log4j日志格式说明二、flume日志配置文件log4j.properties三、flume实际输出日志样式 一、Log4j日志格式说明 在配置文件中通过log4j.appender.appenderName.layout.ConversionPattern设置日志输出格式。 %d: 输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式，%d{dd MMM yyyy HH:mm:ss,SSS} ，输出类似：16 一月
超级简单入门，日志管理系统Flume1.8.0的安装和配置和启动
悟空非空也
10-18 667
Flume简介 Flume原是Cloudera公司提供的一个高可用的、高可靠的、分布式海量日志采集、聚合和传输系统，而后纳入到了Apache旗下，作为一个顶级开源项目。Apache Flume不仅只限于日志数据的采集，由于Flume采集的数据源是可定制的，因此Flume还可用于传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息以及几乎任何可能的数据源。 准备工作 Linux操作系统 flume8.0安装包（见文末或者官网下载） Flume运行机制 Flume的核心是把数据从数据
Apache Flume 如何解析消息中的事件时间
张吉的博客
08-06 2657
数据开发工作中，从上游消息队列抽取数据是一项常规的 ETL 流程。在基于 Hadoop 构建的数据仓库体系中，我们通常会使用 Flume 将事件日志从 Kafka 抽取到 HDFS，然后针对其开发 MapReduce 脚本，或直接创建以时间分区的 Hive 外部表。这项流程中的关键一环是提取日志中的事件时间，Flume 提供了诸多工具帮助我们实现这一点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值