【无标题】编写flume测试文件

已于 2023-10-15 21:36:52 修改
阅读量72 收藏
点赞数
文章标签： flume 大数据
于 2023-10-15 15:31:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hana01_/article/details/133842607
版权

首先我们要切换到Flume的conf目录下

编辑配置文件 用 vim+文件名  就可以实现编辑

添加配置代码

这里面的配置代码，可以在flume的官网里面去复制，我这里用的是avro source，hdfs sinks，file channels。大家可以根据自己的需要去复制不同类型的source，sinks，channels。

Flume 1.9用户手册中文版 — 可能是目前翻译最完整的版本了 (liyifeng.org)

这是flume1.9版本的使用手册

然后使用以下代码去启动我们的配置文件

这样就成功启动了我们的配置文件。但是我们也只是成功启动了我们的配置文件，我们怎么去测试我们的配置文件呢

首先我们另起一个hadoop01节点

使用代码 yum install telnet -y 去安装Telnet服务

然后使用代码 telnet localhost +端口号 去模拟数据发送

最后输入数据后显示ok就表示我们配置成功了

雎竹.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
最全Flume常用配置文件详情解析
weixin_45417821的博客
08-19 5672
Flume的常用配置项1、Source配置项(常见配置项)1.1 Avro Source1.2 NetCat Source1.3 Exec Source1.4 Spooling Directory Source1.5 Taildir Source1.6 Thrift Source1.7 Kafka Source1.8 Sequence Generator Source1.9 HTTP Source2、Channels 配置项 （常见配置项）2.1 Memory Channel2.2 JDBC Channel
flume组件详解与测试案例,安装
welcome to zdsg's csdn
09-22 1571
Flume 概念: Flume是一种分布式、可靠且可用的服务，用于高效地收集、聚合和移动大量日志数据。它具有基于流数据流的简单 灵活的体系结构。它具有健壮性和容错性，具有可调的可靠性机制和许多故障转移和恢复机制。它使用一个简单的可 扩展数据模型，允许在线分析应用程序。 架构: 组件 source：数据源组件,用于读取相应数据,并将数据传到channel中 channel:管道，用于...
flume配置
whk_小猿人
11-29 240
flume安装配置 Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail -F /home/hadoop/data/acc...
Flume官网分享
Tu_maimes
07-31 1328
## Flume的介绍 ### 什么是Flume 可以理解flume是日志收集系统，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受（可定制）的能力。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，F...
Flume 分布式日志收集系统
weixin_45303361的博客
04-01 492
Flume 分布式日志收集系统 概述 运行机制 安装 部署 使用 配置文件书写 Source选型 Channel选型 Sink选型 系统结构图 Flume 拦截器(时间戳、静态、正太筛选、UUID、主机) Flume优化（负载均衡、故障转移）
Flume概述与使用
阳阳阳的博客
09-03 613
文章目录Flume概述1.什么是Flume2.名词介绍3.Flume架构介绍4.可靠性和可用性Flume的安装与使用 Flume概述 1.什么是Flume 可以理解flume是日志收集系统，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种...
Flume总结
m0_60092917的博客
07-17 553
一、简介： Flume是一个分布式，可靠可用性高的日志收集系统，能够采集，集合和传输数据，采用数据流模式。核心概念有事件与进程，事件由数据单元，消息头与消息体组成。进程由source，channel与sink组成。 Flume的优势在于它可以将数据发送到任何集中存储器上，其次当数据收集速度超过数据写入速度时，系统会自行做出调整，在数据生产者与数据收容器之间形成平衡。一共有三种级别的可靠性保障以及三种架构，分别为agent，collector与storage 二、数据流： Flume的核心是数据流，将数据从
【学习笔记】大数据技术之Flume
prague6695的博客
03-30 1709
这里写目录标题思考？1. 在实时监控目录下的多个追加文件中，更名文件怎样解决？2. 三个source有哪些？3. 自定义source时，会出现相同i的情况，为什么？4. put的dorollback中，为什么TaildirSource不会丢数据而netcat会丢数据？第 1 章 Flume 概述1.1 Flume 定义1.2 Flume 基础架构1.2.1 Agent1.2.2 Source1.2.3 Sink1.2.4 Channel1.2.5 Event第 2 章 Flume 入门2.1 Flume 安
Flume数据采集概述、结构、环境搭建
热门推荐
OnTheRoad的博客
05-08 1万+
官网：http://flume.apache.org/前言：Hadoop整体开发业务流程1、概述：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力（其设计的原理也是基于将数据流（如日志数据）从各种网站服务器上汇集起...
flume-plugin-maven-plugin-1.0.zip
10-13
7. **学习资源**：对于Java开发者来说，这个项目提供了一个实战案例，可以学习如何编写Flume插件，如何进行静态代码分析以及如何在开源环境中协作开发。 8. **许可证合规**：作为开源项目，它必须遵循特定的开源...
flume-avro-java-client:一个简单的java客户端将avro事件发送到flume代理
06-25
标题中的“flume-avro-java-client”是一个用于与Apache Flume交互的Java客户端库，主要功能是将Avro格式的事件数据发送到Flume代理。Avro是Apache Hadoop项目的一部分，它提供了一种高效的、面向列的数据序列化机制...
streaming-spark-test:Spark流媒体测试
05-26
标题 "streaming-spark-test:Spark流媒体测试" 指的是一个专注于使用Apache Spark进行流处理的项目，而描述 "火花流测试此仓库用于测试来自多种资源的火花流" 提示我们这是一个针对Spark Streaming的功能验证和测试...
scala-inflector_2.11-1.3.5.zip
10-12
测试用例则是为了验证库的功能正确性，通常使用 ScalaTest 或 Specs2 等测试框架编写。文档可能包括 README 文件，介绍了如何安装、使用和贡献到该项目。 使用 Scala Inflector，开发者可以轻松地实现以下功能： 1...
java1.8源码下载-hadoop-project:使用的技术：ApacheHadoop，ApacheFlume，javaFx和SceneB
05-19
这个文件可能包含了一系列的源代码文件、配置文件、测试代码、文档以及其他与项目相关的资源。 关于Java 1.8源代码，它提供了对JVM（Java虚拟机）、类库、垃圾回收等核心功能的深入了解。开发者可以通过阅读源码来...
大数据采集工具——Flume简介&安装配置&使用教程
qq_73339471的博客
07-18 1371
Flume 是一个的，主要用于将大量的数据从（如日志文件、数据库、本地磁盘等）采集到（主要为）中，用来处理日志数据，并支持在数据流中可靠、高效地移动数据。
hive的内部表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别
最新发布
qq_58462591的博客
08-01 177
外部表：外部表的存储在hdfs中，是我们指定的文件目录，当我们删除数据或者删除分区的时候不会将元数据删除，数据还会在hdfs目录中，我们还可以进行数据挂载。内部表：内部表的存储是在hdfs的默认目录下，当我们删除数据或者删除分区的时候会将元数据删除，数据文件也会被删除。运行指令找到table_type 如果为MANAGED_TABLE，那就是内部表，内部表和外部表的主要区别在于数据的存储方式。如果是EXTERNAL_TABLE,那就是外部表。
大数据信用查询什么样的平台比较靠谱?
xiaoyikj的博客
08-01 476
随着互联网的发展和普及，大数据技术逐渐应用到各行各业中，其中之一就是信用查询领域，大数据信用查询平台能够为用户提供全面、准确的大数据信用评估，然而，由于市场上出现了许多不同的大数据信用查询平台，我们如何才能选择一个靠谱可信的平台呢?市面上很查询大数据的平台都只有一个单链接，用户查询完成之后，对报告有不清楚的地方，根本没有办法找到专人为其分析，如果一份报告自己看不懂，没有人解答，那么这次的钱就是白花了，而小易大数据平台则是市面上为数不多的提供大数据报告免费解读的平台，深受用户好评。
Flink DataStream API编程入门
L
08-01 110
DataStream API的名称来自于DataStream类，该类用于表示Flink程序中的数据集合。您可以将它们视为包含重复项的不可变数据集合。这些数据可以是有限的，也可以是无限的，但是用于处理它们的API是相同的。在使用方面，数据流与常规Java Collection类似，但在一些关键方面有很大不同。DataStream是不可变的，这意味着一旦创建了它们，就不能添加或删除元素。您不仅可以简单地检查其中的元素，还可以使用DataStream API算子（也称为转换）对它们进行处理。
帮我编写编写Flume拦截器
04-05
下面是一个简单的Flume拦截器示例，它将日志记录在文件中并添加一个时间戳： ``` package com.example.flume.interceptor; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.interceptor.Interceptor; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.io.File; import java.io.FileWriter; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import java.util.List; public class TimestampInterceptor implements Interceptor { private static final Logger logger = LoggerFactory.getLogger(TimestampInterceptor.class); private FileWriter fileWriter; private TimestampInterceptor(FileWriter fileWriter) { this.fileWriter = fileWriter; } @Override public void initialize() { // 初始化方法，可以用于读取配置文件等 } @Override public Event intercept(Event event) { // 对每个事件进行拦截处理 String body = new String(event.getBody()); String timestamp = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date()); String log = String.format("[%s] %s", timestamp, body); try { fileWriter.write(log); fileWriter.flush(); } catch (IOException e) { logger.error("Failed to write log to file", e); } return event; } @Override public List<Event> intercept(List<Event> events) { // 对事件列表进行批量处理 for (Event event : events) { intercept(event); } return events; } @Override public void close() { // 关闭方法，可以用于释放资源等 try { fileWriter.close(); } catch (IOException e) { logger.error("Failed to close file writer", e); } } public static class Builder implements Interceptor.Builder { private FileWriter fileWriter; @Override public void configure(Context context) { // 配置方法，可以用于读取参数等 String fileName = context.getString("fileName", "flume.log"); try { File file = new File(fileName); if (!file.exists()) { file.createNewFile(); } fileWriter = new FileWriter(file, true); } catch (IOException e) { logger.error("Failed to create file writer", e); } } @Override public Interceptor build() { // 构建方法，返回一个Interceptor实例 return new TimestampInterceptor(fileWriter); } } } ``` 这个拦截器会在Flume接收到事件后将日志写入文件中，并在每行日志前添加一个时间戳。在Flume配置文件中使用这个拦截器的方法如下： ``` agent.sources = source1 agent.channels = channel1 agent.sinks = sink1 agent.sources.source1.type = ... agent.sources.source1.interceptors = interceptor1 agent.sources.source1.interceptors.interceptor1.type = com.example.flume.interceptor.TimestampInterceptor$Builder agent.sources.source1.interceptors.interceptor1.fileName = /path/to/log/file agent.channels.channel1.type = ... agent.channels.channel1.capacity = ... agent.channels.channel1.transactionCapacity = ... agent.sinks.sink1.type = ... agent.sinks.sink1.channel = channel1 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值