2021年04月_zhisheng_blog

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Pulsar 和 Kafka 架构对比

本文作者是 David Kjerrumgaard，目前任职于 Splunk，Apache Pulsar 和 Apache NiFi 项目贡献者。译者为 Sijia@StreamNative...

2021-04-30 08:41:00 223 1

转载 Flink性能调优小小总结

1 配置内存操作场景Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是...

2021-04-29 08:41:00 1027

转载揭秘-滴滴Logi-KafkaManager的用户体验设计

本期我们将会对滴滴Logi—KafkaManager 的生产消费、资源申请、生产/消费示例和监控告警进行详细解释。生产消费概述：将简要说明生产/消费流程；资源申请：将简要说明讲解应用资源、...

2021-04-28 08:41:00 246

转载 Kafka Producer 参数设置详解

主要介绍下kafka的producer配置参数，只取了其中的一部分常用的，后续的有时间，也会补充一些，更多的详细参数，可以参考《kafka官网》，参数的内容，主要是选取《apache ka...

2021-04-27 08:57:09 1291 1

转载基于 Flink 的数据传输平台的设计与实践

摘要：数据接入与传输作为打通数据系统与业务系统的一道桥梁，是数据系统与架构中不可或缺的一个重要部分。数据传输系统稳定性和准确性，直接影响整个数据系统服务的 SLA 和质量。此外如何提升系统...

2021-04-25 08:41:00 643 1

转载 TiDB 在知乎万亿量级业务数据下的实践和挑战

一、业务场景知乎从问答起步，在过去的 8 年中逐步成长为一个大规模的综合性知识内容平台，目前，知乎上有多达 3000 万个问题，共收获了超过 1.3 亿个回答，同时知乎还沉淀了数量众多的文...

2021-04-24 18:08:26 154

转载面试又被问：Kafka 为什么这么快？

最近看到了个重磅消息，即将发布的 Kafka 2.8 版本会移除 ZooKeeper，这可是 Kafka 在架构上的重大升级。让一向“重量级”的 Kafka 从此变得简单了起来，轻量级的单...

2021-04-23 08:41:00 161

转载弹性伸缩系统的技术演进与落地实践

弹性伸缩具有应突发、省成本、自动化的业务价值。平台侧将各业务零散、闲置资源进行整合，形成一个大规模资源池，通过弹性调度、库存管控技术在公司运营成本和业务体感中寻求较好的平衡。本文将介绍美团...

2021-04-23 08:41:00 603

转载干货分享 | 万字讲解Kafka 从基础到高级（附图讲解）

1、为什么有消息系统解耦合异步处理例如电商平台，秒杀活动。一般流程会分为：1: 风险控制、2：库存锁定、3：生成订单、4：短信通知、5：更新数据通过消息系统将秒杀活动业务拆分开，将不急需...

2021-04-22 08:41:00 540

转载 Redis、Kafka 和 Pulsar 消息队列对比

导语 |市面上有非常多的消息中间件，rabbitMQ、kafka、rocketMQ、pulsar、 redis等等，多得令人眼花缭乱。它们到底有什么异同，你应该选哪个？本文尝试通过技术演...

2021-04-20 08:41:00 273

转载大白话认识 Kafka 背后优秀的架构设计

来源 |https://juejin.cn/post/6844903999066341384一、Kafka基础消息系统的作用应该大部份小伙伴都清楚，用机油装箱举个例子所以消息系统就是如上...

2021-04-16 08:41:00 147

转载企业数据运营——元数据管理

企业数据治理现状与问题数据运营之元数据的重要性元数据管理范围及方法元数据给企业带来的收益企业数据治理现状与问题企业架构理论体系中，数据架构始终是企业架构的核心组成部分TOGAF企业架构框架...

2021-04-14 08:40:24 435

转载阿里集团大数据建设OneData体系.ppt

endFlink 从入门到精通系列文章基于 Apache Flink 的实时监控告警系统关于数据中台的深度思考与总结（干干货）日志收集Agent，阴暗潮湿的地底世界公众号...

2021-04-13 08:41:31 451

转载 Kafka 2.8独立运行，不再需要ZooKeeper

分布式发布与订阅系统Apache Kafka在即将发布的2.8版本，使用Kafka内部的Quorum控制器来取代ZooKeeper，因此用户第一次可在完全不需要ZooKeeper的情况下执...

2021-04-11 18:01:00 447

转载线上服务 CPU 100%？一键定位 so easy！

转自：大数据之路，链接：my.oschina.net/leejun2005/blog/1524687背景经常做后端服务开发的同学，或多或少都遇到过 CPU 负载特别高的问题。尤其是在周末或...

2021-04-10 08:41:00 148

转载传统数仓如何转型大数据？

Q：现在做传统数仓，如何快速转到大数据数据呢？其实很多小伙伴都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。一、数据仓库数据仓库：数据仓库系统的主要应用主要是OLA...

2021-04-08 08:41:00 423

转载阿里云DataWorks学习——数仓架构设计

（一）技术架构选型在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如...

2021-04-07 08:41:00 1237

转载爱奇艺数据中台建设方案.ppt

大家好，今天给大家分享下爱奇艺数据中台建设时间方案，本文主要内容包含以下几部分：数据中台的产生：数据工作的痛点、数据中台的产生、中台的实质爱奇艺数据中台的定义：理解数据中台、数据中台的发展...

2021-04-06 08:41:00 604

转载面试官：为什么 Kafka 如此之快？

作者 | Emil Koutanov译者 | 弯月以下为译文：最近几年，软件体系结构领域发生了巨大的变化。单体应用，乃至共享一个通用数据存储的多个服务的概念已从软件从业者的世界消失了。微服...

2021-04-02 20:40:46 238

Flink 全网最全资源（视频、博客、PPT、入门、原理、实战、性能调优、源码解析、问答等持续更新）

Flink 全网最全资源（视频、博客、PPT、入门、原理、实战、性能调优、源码解析、问答等持续更新），包含 Flink 入门、概念、原理、实战、性能调优、大型案例、源码解析

2019-10-25

1、Flink 源码解析 —— 源码编译运行 2、Flink 源码解析 —— 项目结构一览 3、Flink 源码解析—— local 模式启动流程 4、Flink 源码解析 —— standalonesession 模式启动流程 5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动 6、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动 7、Flink 源码解析 —— 分析 Batch WordCount 程序的执行过程 8、Flink 源码解析 —— 分析 Streaming WordCount 程序的执行过程 9、Flink 源码解析 —— 如何获取 JobGraph？ 10、Flink 源码解析 —— 如何获取 StreamGraph？ 11、Flink 源码解析 —— Flink JobManager 有什么作用？ 12、Flink 源码解析 —— Flink TaskManager 有什么作用？ 13、Flink 源码解析 —— JobManager 处理 SubmitJob 的过程 14、Flink 源码解析 —— TaskManager 处理 SubmitJob 的过程 15、Flink 源码解析 —— 深度解析 Flink Checkpoint 机制 16、Flink 源码解析 —— 深度解析 Flink 序列化机制 17、Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？

2019-06-04

Flink 全网最全资源（视频、博客、PPT、入门、实战、源码解析、问答等持续更新）.md

Flink 全网最全资源（视频、博客、PPT、入门、实战、源码解析、问答等持续更新） 1、Flink 源码解析 —— 源码编译运行 2、Flink 源码解析 —— 项目结构一览 3、Flink 源码解析—— local 模式启动流程 4、Flink 源码解析 —— standalonesession 模式启动流程 5、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Job Manager 启动 6、Flink 源码解析 —— Standalone Session Cluster 启动流程深度分析之 Task Manager 启动 7、Flink 源码解析 —— 分析 Batch WordCount 程序的执行过程 8、Flink 源码解析 —— 分析 Streaming WordCount 程序的执行过程 9、Flink 源码解析 —— 如何获取 JobGraph？ 10、Flink 源码解析 —— 如何获取 StreamGraph？ 11、Flink 源码解析 —— Flink JobManager 有什么作用？ 12、Flink 源码解析 —— Flink TaskManager 有什么作用？ 13、Flink 源码解析 —— JobManager 处理 SubmitJob 的过程 14、Flink 源码解析 —— TaskManager 处理 SubmitJob 的过程 15、Flink 源码解析 —— 深度解析 Flink Checkpoint 机制 16、Flink 源码解析 —— 深度解析 Flink 序列化机制 17、Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的？

2019-06-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

http://www.54tianzhisheng.cn/