flink实战--flink日志框架配置与使用详解

最新推荐文章于 2024-10-27 16:14:06 发布
最新推荐文章于 2024-10-27 16:14:06 发布
阅读量2.8k 收藏 2
点赞数 2
分类专栏： Flink学习必读系列 文章标签： flink 大数据 log4j2 log4j
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/110672136
版权
本文介绍了Flink 1.11之前和1.11版本的日志框架配置，包括Log4j和Log4j2的使用。讨论了如何配置日志存储介质如Kafka、Elasticsearch，以及解决日志卡顿和冲突问题的方法。还涵盖了slf4j的基础概念和日志选择策略。
摘要由CSDN通过智能技术生成

 关注微信公众号【BigData512】,了解更多大数据技术，还有免费资料等你哦 watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FBNTE4MTg5,size_16,color_FFFFFF,t_70

Flink 日志框架

            Flink 1.11之前,Flink 使用的日志框架是 Log4j，配置信息在 flink/conf/log4j.properties 中。配置文件会将 JobManager 和 TaskManager 的日志分别打印在不同的文件中。Flink 1.11.1 版本对 UI 进行了优化,会将JobManager 和 TaskManager 的日志都打印在一个文件里面,但任务跑时间长的话,日志文件会非常大,查看日志页面时出现卡顿的情况,所以可以对 Flink 的日志做一个滚动的配置。如果想把日志信息实时存入到kafka，es等存储介质也是可以的，本文将详细介绍Flink日志的基本使用方式和滚动配置。

<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink 1.11 日志文件该如何配置？
http://www.54tianzhisheng.cn/
08-04 2015
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章Flink 1.11 之前在 Flink 1.11 之前，Flink 使用的日志...
Flink日志配置
最新发布
chanyue123的博客
12-05 1124
Flink的日志配置详解
Flink日志文件配置
大数据进阶之路
06-16 6511
因为在正常的情况下，Flink的流数据是非常大的，有时候会使用print()打印数据自己查看，有时候为了查找问题会开启debug日志，就会导致日志文件非常大，通过Web UI查看对应的日志文件是会非常卡，所以首先将日志文件按照大小滚动生成文件，我们在查看时不会因为某个文件非常大导致Web UI界面卡，没法查看。 2.2 设置日志写入Kafka集群 针对按照日志文件大小滚动生成文件的方式，可能因为某个错误的问题，需要看好多个日志文件，所以可以把日志文件通过KafkaAppender写入到kafka中，然后通过
Flink 1.11.1 滚动日志配置
JasonLee实时计算
12-04 3635
Flink 1.11.1 版本对 UI 进行了优化,日志做了更加详细的分类,但是 jm 和 tm 的日志输出都在一个文件里面,任务跑时间长的话,日志文件会非常大,虽然目前 UI 已经优化...
Flink原理：Flink中的日志框架配置
foureyes
06-13 4404
文章目录1. 背景2. 日志门面slf4j2.1 log4j2.2 log4j23. 避免冲突4. 总结 1. 背景 很多同学在进行Flink开发时，无论是使用log4j或log4j2，常常出现各种问题，如下图所示： 今天我们就要拨开云雾见天日，聊聊日志相关的知识，搞清楚这些报错的原因。 众所周知，现代框架都是用门面模式进行日志输出，例如使用Slf4j中的接口输出日志，具体实现类需要由log4j，log4j2，logback等日志框架进行实现，如Flink的类中是这样输出日志的： // org.apache
Flink Application打印业务日志
u011250186的博客
08-04 2819
背景 flink默认会把所有日志打印到taskexecutor的日志，日志混杂在一起很难排查，并且会越来越大 可以通过的以下的方式分割离职并做Rolling 添加依赖jar包 https://mirrors.koehn.com/apache/logging/log4j/extras/1.2.17/apache-log4j-extras-1.2.17-bin.zip 下载并copy apache-log4j-extras-1.2.17.jar 包到flink/lib目录下 增加l...
flink实战--flink on yarn
阿华田的博客
10-31 5826
Flink on yarn 配置 如果我们打算把flink任务提交到yarn上，那么只需要一台flink客户机即可，但是需要有如下的配置 第一步：设置HADOOP_CONF_DIR环境变量 export HADOOP_CONF_DIR=/usr/local/service/hadoop/etc/hadooop/ 注意：如果在flink的配置文件中设置Hadoop的环境变量，......
Flink入门及实战-下.pptx
09-23
### Flink 入门及实战知识点详解 #### 一、Flink API 抽象级别概述 Flink 提供了多种 API 抽象级别，以适应不同的应用场景和需求。主要包括： - **DataStream API**：适用于批处理和流处理，提供丰富的转换操作。 ...
【大数据】Flink + Kafka 实现通用流式数据处理详解
热门推荐
congge
10-27 1万+
Flink + Kafka 实现通用流式数据处理详解
大数据工程师 Flink技术与实战 源码笔记下载
10-15
标题和描述中提到的“大数据工程师 Flink技术与实战 源码笔记下载”表明这是一份关于大数据处理框架Apache Flink的实战教程，可能包含了源代码解析、实战案例以及学习笔记等内容。对于Flink技术的学习者而言，这样的...
【Flink系列】使用logback
马路上开飞机
10-18 1901
Flink logback
Flink在YARN上的日志滚动配置
2301_79366435的博客
09-19 307
总结一下，Flink在YARN上的日志滚动配置是非常重要的一项设置，它能够帮助我们更好地管理和维护流处理应用程序的日志。通过对Flink的配置文件进行相应的修改，并在代码中启用滚动策略，我们可以轻松地实现日志滚动功能。当我们在使用Flink时，经常会遇到需要配置Flink在YARN上的日志滚动策略的情况。首先，我们需要在Flink的配置文件中指定日志的滚动策略。通过以上的配置和代码，我们就可以在Flink on YARN中实现日志滚动的功能了。这样可以使得日志文件更加整洁，方便我们对日志进行查阅和管理。
flink1.12配置滚动日志（超详细）
张小小凡
05-11 987
flink 1.12 配置滚动日志
flink 中的日志的设置
java_bing的专栏
06-20 519
https://blog.csdn.net/ifenggege/article/details/114434195
4.Flink实时项目之日志数据拆分
Player_001的博客
02-14 1265
我们前面采集的日志数据已经保存到 Kafka 中，作为日志数据的 ODS 层，从 kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回 Kafka 不同主题中，作为日志 DWD 层。 页面日志输出到主流，启动日志输出到启动侧输出流，曝光日志输出到曝光侧输出流
Flink Yarn TaskManager|JobManager日志采集方案
麦田里的守望者-蒋中洲【相信相信的力量】
11-08 3435
背景 Flink on Yarn 的模式下,TaskManager的日志会存储到所在的 DataNode 上,当 Flink 任务发生异常，产生异常日志时，需要第一时间感知任务已经出现异常，避免影响业务。因此需要将Flink任务的日志实时收集起来，任务出现异常日志立刻报警，做的真正意义上的实时报警，，而不是等Flink任务掉线了再发出报警。收集任务日志的好处除了任务掉线方便我们通过日志定位问题，还可以支持日志实时报警，搜索，展示等功能的实现。 Flink-1.7.2/1.10 1、修改$FLINK_HOME
flink日志调试
wuchongyong的博客
11-23 1186
flink日志
flink日志配置
DreamWeaver_Zhou
12-26 1万+
STEP1: 难受真的难受, 由于网上关于flink日志的的配置很少,导致笔者在配置日志的时候遇到了很多大坑!!!!!! STEP2:当jar包通过flink的WEBUI提交的时候, 自己配置的log日志没办法打印到配置的路径下,这让人很难受!!!!! STEP3:后来查询了中外资料发现, flink自带日志配置文件假如是集群运行要提前看一下jar包运行在哪台机器,也就是说我们不需要自己配置配...
Flink开发环境与日志配置详解
"Flink开发环境搭建与日志配置详解" 在大数据处理领域，Apache Flink是一个重要的流处理框架，它的高效、低延迟特性使得它在实时数据处理中扮演着核心角色。本文将深入探讨Flink的开发环境配置，以及如何查看和配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值