Flume(十四)Logger Sink

于 2024-08-07 11:27:10 发布
阅读量250 收藏 3
点赞数 7
分类专栏： # flume 文章标签： flume java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sadfasdfsafadsa/article/details/140987089
版权

Logger Sink是将收集到的数据以日志形式打印。需要注意的是，从Flume1.10.0版本开始，使用log4j2.x替换log4j1.x，使用log4j2.xml替换了log4j.properties，因此使用Logger Sink不再输出到控制台上，而是将结果输出到了flume.log文件中。

如果要在终端输出，请参考Flume(八)Flume1.10及以上版本实现控制台console打印输出-CSDN博客

另外在打印的时候，为了防止过多的数据占满屏幕，所以要求数据body的部分不能超过16个字节，超过16个字节的部分不打印。

另外，Logger Sink对中文打印支持的不好。

实例在我们的入门案例里

flume (二)安装-CSDN博客

Allen019
关注
专栏目录
Flume Sink
小白的博客
11-30 2109
一、Logger Sink 记录指定级别的日志，通常用于调试。 二、File Roll Sink 在本地文件系统中存储事件，每隔指定时长生成文件保存这段时间内收集到的日志信息。 配置Agent 三、HDFS Sink 此Sink将事件写入到Hadoop分布式文件系统HDFS中。 它支持创建文本文件和序列化文件，对这两种格式都支持压缩。 这些文件可以分卷，按照指定的时间或数据量或事件的数量为基...
Flume系列：Flume Sink使用
最新发布
wester的博客
05-10 984
Flume系列：Flume Sink使用
Flume-1.7.0之 Taildir Source & logger Sink
shufangreal的博客
06-20 423
Flume-1.7.0之TAILDIR Source Taildir Source简介 Taildir Source可以监控指定文件，而且一旦有数据追加到每个文件，这种source都能实时的跟踪并发现文件的数据追加，这个source会等待数据写完，然后尝试接着读取这些文件。 Taildir Source是可靠的，它不会丢失数据即使监控的文件进行滚动并产生新数据，因为它会周期性的将每个文件的每次读取的最后的position位置以json的格式写入到文件，就算flume停止或者down掉，重启之后还是从每个文件
Flume 之 Exec Source & Logger Sink
shufangreal的博客
06-20 546
Flume的简单实践 Flume的实践，主要分为以下几个步骤。 1 配置并启动Flume agent cd $FLUME_HOME # 通过nohup守护进程的方式启动agent nohup bin/flume-ng agent -n a1 -c conf -f conf/flume-conf.properties & # 查看进程 jps 69178 Application 启动了一个java进程 2 配置好source sink channel cd $FLUME_HOME mkdir
Flume学习系列(六)---- Logger Sink源码解读与自定义Sink初探
Badme
08-22 1526
前言：接上一篇，我们使用flume自带的logger有些bug，只能显示前16个字节。本文将介绍如何解决这个问题，并分析Logger Sink的源码进而得出自定义Sink的一般流程。 一、解决Logger Sink问题 1.1 尝试使用maxBytesToLog属性 之前我们说过，有问题就去官方文档看看，有关Logger Sink的内容如下： 001.png ...
2020/12/1 webpack 基础配置
web修理工
12-08 153
1.webpack 1.132 webpack hello.js hello.xx.js 01.开始都是 webpack index.js index.bundle.js 把 index.js 文件打包成 index.bundle.js 文件 02.配置 webpack.config.js 文件 打包webpack 即可 03.webpack 命令写入pack.json 文件里
Flume的channel和sink.docx
05-16
- **Logger Sink**：将事件记录到控制台，限制了16字节的body内容。 - **File Roll Sink**：在本地文件系统中存储事件，并定期滚动生成新文件。 - **HDFS Sink**：将事件写入HDFS，支持不同文件类型，如SequenceFile...
flume采集oracle日志,flume收集日志直接sink到oracle数据库
weixin_32497403的博客
04-05 535
因为项目需求，需要保存项目日志。项目的并发量不大，所以这里直接通过flume保存到oracle源码地址：https://github.com/jaxlove/fks/tree/master/src/main/java/com日志系统设置：url：以select、save、update、remove开头。通过filter记录请求功的url。格式为json格式，字段包括channel(来源渠道web...
Flume配置（NetCatSource，ExecSource，SqoolingDirectory，MemoryChannel， FileChannel，LoggerSink，HDFS Sink ）
May_J_Oldhu的博客
11-30 418
Flume组件的配置示例一.Flume组件的配置示例1.NetCat TCP Source，Memory Channel,Logger Sink1）NetCat TCP Source2）Memory Channel3）Logger Link2.Exec Source，Memory Channel,Logger Sink1）Exec Source2）Memory Channel3.Spooling Directory Source,File Channel,Logger Link1）Spooling Dire
flume之常用sink详解
赶路人儿
09-30 9030
1、Logger Sink  记录INFO级别的日志，一般用于调试。前面介绍Source时候用到的Sink都是这个类型的Sink 必须配置的属性：                 type    logger             maxBytesToLog    16    Maximum number of bytes of the Event body to log
flume day01 （安装+打印内容）
qq_53822083的博客
12-12 264
flume 安装+打印内容
day01(Flume)
m0_67402013的博客
08-14 225
个人总结：1. Failover Sink Processor:需要这是节点的优先级，数据会先发送给高优先级的节点，当高优先级的节点宕机之后才会发送给低优先级的节点。a. Flume中所有的Source的顶级接口就是Source，但是需要注意的是如果自定义Source实现这个接口，Flume并不认这个实现类。5．如果没有指定优先级，则优先级顺序取决于sink们的配置顺序，先配置的默认优先级高于后配置的。2 SpoolDir:监听给一个指定的目录，只要目录下的文件发生变化，会自动收集文件中的内容。...
Flume 小记(一) 入门、小结、注意事项
苍穆的博客
12-06 852
一. 入门：安装、部署、及简单案例   Flume 的安装，介绍，特性，核心概念等在这就不再赘述，请参考 http://www.aboutyun.com/thread-8917-1-1.html ，作者的介绍和案例都比较详细 二. HttpSource 使用小结   这次主要拿 Flume 的HttpSource 做案例，用到了 File Roll Sink , HDFS Sin
Flume 入门--几种不同的Sinks
天青色等烟雨 而我在等你
03-27 1340
主要介绍几种常见Flume的Sink--汇聚点1.Logger Sink 记录INFO级别的日志，一般用于调试。前面介绍Source时候用到的Sink都是这个类型的Sink必须配置的属性：属性说明：            !channel    –                 !type    –    The component type name, needs to be logger  ...
flume安装使用教程
GK_kk的博客
04-01 3273
1.     flume概述 1.1.         flume概念 1.1.1. flume概念 flume是分布式的，可靠的，高可用的，用于对不同来源的大量的日志数据进行有效收集、聚集和移动，并以集中式的数据存储的系统。 flume目前是apache的一个顶级项目。 1.1.2. 系统需求 flume需要java运行环境，要求java1.6以上. 1.2.         下载
Flume之Sink类型
蒯厅博客
05-04 2274
Logger Sink 记录指定级别(Debug、Eroor)的日志，大部分时间Logger用来测试或调试。并不是真正的业 务场景中的需求。 想要使用logger sink的前提要求是，在conf (-c)参数所指定的目录下一定要有log4j的配置文 件。 根据设计，logger sink将内容的限制为16个字节，从而数据过多而占用屏幕。如果想要查看 调试完整的内容，那么应该使用的是其他的sink...
Flume Sink
happy19870612's blog
11-21 827
一 HDFS Sink 将event写入HDFS. 1.1  RequiredProperties channel:从哪一个channelpull数据 type:hdfs hdfs.path:HDFSdirectory path 比如hdfs://hadoop09-linux:8020/user/ hadoop/flume/hive/log   1.2  OptionalPrope
Flume的Sink类型
围城客的专栏
11-13 6202
1、HDFS Sink 该sink把events写进Hadoop分布式文件系统（HDFS）。它目前支持创建文本和序列文件。它支持在两种文件类型压缩。文件可以基于数据的经过时间或者大小或者事件的数量周期性地滚动。它还通过属性（如时间戳或发生事件的机器）把数据划分为桶或区。 上述配置会将时间戳降到最后10分钟。例如，带有11:54:34 AM，June 12，2012时间戳的event将会造成...
Flume通道与接收器详解：Memory Channel、File Channel、HDFS Sink等
1. Logger Sink：将事件输出到控制台，方便调试，但输出的body内容有限制，通常为16字节。 2. File Roll Sink：定期将事件写入本地文件，并按时间生成新文件，适合于数据归档。启动Flume时需要指定配置文件，并可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Allen019

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值