大数据
文章平均质量分 91
upupfeng
贵有恒,要坚持~~
展开
-
Flink日志配置
介绍flink在本地运行和on yarn运行时的日志配置。很多现代框架都是用门面模式进行日志输出,例如使用Slf4j中的接口输出日志,具体实现类需要由log4j,log4j2,logback等日志框架进行实现。Flink 中的日志记录就是使用slf4j日志接口实现的。Slf4j简要说明slf4j全名Simple Logging Facade for Java,为java提供的简单日志Facade。Facade门面说白了就是接口。它允许用户以自己的喜好,在工程中通过slf4j接入不同的日志系统。s.原创 2021-03-06 10:00:26 · 16150 阅读 · 7 评论 -
Hadoop Shuffle阶段为什么要排序?Spark为什么采用Sort Shuffle?
Hadoop shuffle阶段为什么要排序?Spark Shuffle为什么从最初的Hash Shuffle改成了Sort Shuffle?原创 2020-08-15 16:52:36 · 3585 阅读 · 2 评论