2021年03月_zhisheng_blog

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Flink 执行引擎：流批一体的融合之路

摘要：本文由 Apache Flink Committer 马国维分享，主要介绍 Flink 作为大数据计算引擎的流批一体融合之路。内容包括：背景流批一体的分层架构流批一体DataStre...

2021-03-31 08:41:00 250

转载腾讯游戏实时计算应用平台建设实践

摘要：本文由腾讯游戏增值服务部数据中心许振文分享，主要介绍腾讯游戏实时计算应用平台的建设实践。内容包括：建设背景统一实时大数据开发OneData统一大数据接口服务 OneFun数据服务微...

2021-03-30 22:20:39 175

转载性能优化：一个 Flink 参数节省了 50% 的 CPU 消耗

本文属于 Flink 在生产环境的大规模 CPU 优化实战，大并发任务预计节省 30~50% 的 CPU 消耗。下文会详细分析优化相关的实现原理、问题定位以及优化过程。往往在做性能优化时就...

2021-03-29 08:41:00 5213 3

转载 Flink Roadmap

Feature StagesMVP:Have a look, consider whether this can help you in the future.Beta:You can...

2021-03-28 23:28:08 126

原创如何查看 Flink 作业执行计划？

当一个应用程序需求比较简单的情况下，数据转换涉及的 operator（算子）可能不多，但是当应用的需求变得越来越复杂时，可能在一个 Job 里面算子的个数会达到几十个、甚至上百个，在如此多...

2021-03-25 21:01:00 666 1

转载领英如何应对Apache Spark的Scalability挑战

分享嘉宾简介：沈旻，领英Spark团队软件工程师，技术负责人，伊利诺伊芝加哥分校计算机专业博士学位。林致远，领英Spark团队软件工程师，卡耐基梅隆大学硕士学位，专攻分布式系统方向。以下内...

2021-03-24 08:41:00 185

转载基于 Flink SQL CDC 的实时数据同步方案

整理：陈政羽（Flink 社区志愿者）Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里...

2021-03-23 21:04:22 751 1

转载榨干服务器：一次惨无人道的性能优化

背景做过2B类系统的同学都知道，2B系统最恶心的操作就是什么都喜欢批量，这不，我最近就遇到了一个恶心的需求——50个用户同时每人导入1万条单据，每个单据七八十个字段，请给我优化。Excel...

2021-03-22 08:41:00 143

转载 APM 介绍与实现

本文来说说什么是 APM 系统，也就是大家平时说的监控系统，以及怎么实现一个 APM 系统。因为一些特殊的原因，我在文中会使用 Dog 作为我们的系统名称进行介绍。我们为 Dog 规划的目...

2021-03-21 18:45:00 1162

转载 ClickHouse 在日志存储与分析方面作为 ElasticSearch 和 MySQL 的替代方案

2018年，我写过一篇关于Clickhouse的文章，这段内容在互联网上仍然很流行，甚至被多次翻译。现在已经过去两年多，同时 Clickhouse 的开发节奏仍然活跃: 上个月有 800 ...

2021-03-20 19:31:30 1518

转载 Flink 1.12 以 upsert 的方式读写 Kafka 数据

在某些场景中，比如GROUP BY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将 Kafka 消息记录的 key 当成主键处理，用来确定一条数据是应该作为插入、删除还是更新记录来...

2021-03-19 08:41:00 2486 1

转载深入理解 YARN Resource Localization

一个Applciation运行在YARN上的流程为，从YARN Client向ResourceManager提交任务，将Applciation所需资源提交到HDFS中，然后Resource...

2021-03-18 21:49:24 805

转载 Flink 开发生产问题汇总，亲自解决的才是最宝贵的

本文收集了与粉丝沟通过程中常见的问题与解决方案，整理成文，供大家参考和查阅。1、Checkpoint失败：Checkpoint expired before completing原因是因为...

2021-03-17 08:41:00 833

转载 Spark-SQL性能极致优化： Native Codegen Framework

EMR团队探索并开发了SparkSQL Native Codegen框架，为SparkSQL换了引擎，新引擎带来最高4倍性能提升，为EMR再次获取世界第一立下汗马功劳。来自阿里云EMR团队...

2021-03-16 08:41:00 475

转载 Elasticsearch 生产环境集群部署最佳实践

在生产环境搭建或维护 Elasticsearch 集群和个人搭建集群的小打小闹有非常大的不同。本文的最佳实践基于每天增量数亿+ 的线上环境。少啰嗦，上干货。1、内存Elasticsearc...

2021-03-15 08:41:00 407

转载微博千万级规模高性能高并发的网络架构设计

架构以及我理解中架构的本质在开始谈我对架构本质的理解之前，先谈谈自己的个人见解，千万级规模的网站感觉数量级是非常大的，对这个数量级我们战略上要重视它，战术上又要藐视它。先举个例子感受一下...

2021-03-14 19:03:07 180

原创 HotRing——热点感知的哈希冲突解决方案

本文作者：Jiekun，授权转发原文链接：https://jiekun.dev/posts/hotring/在使用链表法解决哈希冲突时，由于多数场景下，热点数据异常集中，链表中多个ite...

2021-03-13 18:53:38 566

转载迄今为止最好用的Flink SQL教程：Flink SQL Cookbook on Zeppelin

对于初学者来说，学习 Flink 可能不是一件容易的事情。看文档是一种学习，更重要的是实践起来。但对于一个初学者来说要把一个 Flink SQL 跑起来还真不容易，要搭各种环境，真心累。很...

2021-03-12 08:41:00 305

转载苏宁数据中台架构实践

苏宁数据中台是一个大项目群：OLAP 是底层的加速、查询引擎，底层支持 Druid、ES、PGCitus 集群，类似 Presto，跟 Presto 不同的是 OLAP 会主动对数据进行 ...

2021-03-11 08:41:00 135

转载快手基于 Flink 的持续优化与实践

摘要：本文由快手实时计算负责人董亭亭分享，主要介绍快手基于 Flink 的持续优化与实践的介绍。内容包括：Flink 稳定性持续优化Flink 任务启动优化Flink SQL 实践与优化未...

2021-03-10 08:41:00 88

转载 ClickHouse 在腾讯音乐敏捷数据分析中的实践与思考

Flink 从入门到精通系列文章基于 Apache Flink 的实时监控告警系统关于数据中台的深度思考与总结（干干货）日志收集Agent，阴暗潮湿的地底世界公众号(zh...

2021-03-09 08:41:00 242

转载流批一体神器 Flink 之 Flink State 架构原理解析

身为大数据工程师，你还在苦学Spark、Hadoop、Storm，却还没搞过Flink？醒醒吧！刚过去的2020双11，阿里在Flink实时计算技术的驱动下全程保持了“如丝般顺滑”，基于F...

2021-03-08 08:41:00 442

转载美团外卖特征平台的建设与实践

总第437篇2021年第007篇随着美团外卖业务的发展，算法模型也在不断演进迭代中。本文从特征框架演进、特征生产、特征获取计算以及训练样本生成四个方面介绍了美团外卖特征平台在建设与实践中...

2021-03-05 08:41:00 175

转载 Clickhouse在头条火山引擎只能数据洞察的应用

Flink 从入门到精通系列文章基于 Apache Flink 的实时监控告警系统关于数据中台的深度思考与总结（干干货）日志收集Agent，阴暗潮湿的地底世界公众号(zhis...

2021-03-03 08:41:00 163 1

转载主流微服务全链路监控系统之战

问题背景随着微服务架构的流行，服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程...

2021-03-02 08:46:10 232 1

转载 HBase、Kudu 和 ClickHouse 全视角对比

前言Hadoop生态圈的技术繁多。HDFS一直用来保存底层数据，地位牢固。Hbase作为一款Nosql也是Hadoop生态圈的核心组件，它海量的存储能力，优秀的随机读写能力，能够处理一些H...

2021-03-01 08:50:22 691

Flink 全网最全资源（视频、博客、PPT、入门、原理、实战、性能调优、源码解析、问答等持续更新）

Flink 全网最全资源（视频、博客、PPT、入门、原理、实战、性能调优、源码解析、问答等持续更新），包含 Flink 入门、概念、原理、实战、性能调优、大型案例、源码解析

2019-10-25

1、Flink 源码解析 —— 源码编译运行 2、Flink 源码解析 —— 项目结构一览 3、Flink 源码解析—— local 模式启动流程 4、Flink 源码解析 —— standalonesession 模式启动流程 5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动 6、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动 7、Flink 源码解析 —— 分析 Batch WordCount 程序的执行过程 8、Flink 源码解析 —— 分析 Streaming WordCount 程序的执行过程 9、Flink 源码解析 —— 如何获取 JobGraph？ 10、Flink 源码解析 —— 如何获取 StreamGraph？ 11、Flink 源码解析 —— Flink JobManager 有什么作用？ 12、Flink 源码解析 —— Flink TaskManager 有什么作用？ 13、Flink 源码解析 —— JobManager 处理 SubmitJob 的过程 14、Flink 源码解析 —— TaskManager 处理 SubmitJob 的过程 15、Flink 源码解析 —— 深度解析 Flink Checkpoint 机制 16、Flink 源码解析 —— 深度解析 Flink 序列化机制 17、Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？

2019-06-04

Flink 全网最全资源（视频、博客、PPT、入门、实战、源码解析、问答等持续更新）.md

Flink 全网最全资源（视频、博客、PPT、入门、实战、源码解析、问答等持续更新） 1、Flink 源码解析 —— 源码编译运行 2、Flink 源码解析 —— 项目结构一览 3、Flink 源码解析—— local 模式启动流程 4、Flink 源码解析 —— standalonesession 模式启动流程 5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动 6、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动 7、Flink 源码解析 —— 分析 Batch WordCount 程序的执行过程 8、Flink 源码解析 —— 分析 Streaming WordCount 程序的执行过程 9、Flink 源码解析 —— 如何获取 JobGraph？ 10、Flink 源码解析 —— 如何获取 StreamGraph？ 11、Flink 源码解析 —— Flink JobManager 有什么作用？ 12、Flink 源码解析 —— Flink TaskManager 有什么作用？ 13、Flink 源码解析 —— JobManager 处理 SubmitJob 的过程 14、Flink 源码解析 —— TaskManager 处理 SubmitJob 的过程 15、Flink 源码解析 —— 深度解析 Flink Checkpoint 机制 16、Flink 源码解析 —— 深度解析 Flink 序列化机制 17、Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？