- 博客(732)
- 资源 (14)
- 收藏
- 关注
RSS订阅转载 从一次Kafka宕机开始，引发高可用思考
问题要从一次Kafka的宕机开始说起。笔者所在的是一家金融科技公司，但公司内部并没有采用在金融支付领域更为流行的 RabbitMQ ，而是采用了设计之初就为日志处理而生的 Kafka ，所...
2021-05-25 08:40:21
123
转载 腾讯的Tendis能否干掉Redis，用了什么牛逼的技术呢？
Redis 作为高性能缓存被广泛应用到各个业务, 比如游戏的排行榜, 分布式锁等场景。经过在 IEG 的长期运营, 我们也遇到 Redis 一些痛点问题, 比如内存占用高, 数据可靠性差,...
2021-05-23 11:45:00
182
转载 别再纠结线程池大小 + 线程数量了，没有固定公式的！
可能很多人都看到过一个线程数设置的理论：CPU 密集型的程序 - 核心数 + 1I/O 密集型的程序 - 核心数 * 2不会吧，不会吧，真的有人按照这个理论规划线程数？线程数和CPU利用率...
2021-05-21 08:51:21
77
转载 Apache Flink 1.13.0 正式发布，流处理应用更加简单高效！
翻译 | 高赟Review | 朱翥、马国维Flink 1.13 发布了！Flink 1.13 包括了超过 200 名贡献者所提交的 1000 多项修复和优化。这一版本中，Flink 的一...
2021-05-20 08:41:00
293
转载 Apache Flink 在 bilibili 的多元化探索与实践
摘要：本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。...
2021-05-19 08:41:00
212
转载 2W 字详解设计模式
原文：javadoop.com/post/design-pattern一直想写一篇介绍设计模式的文章，让读者可以很快看完，而且一看就懂，看懂就会用，同时不会将各个模式搞混。自认为本文还是写...
2021-05-18 08:40:18
664
转载 DeltaLake在工业大脑的实践分享
作者介绍占怀旻，花名心渡，阿里云数字产业产研部-工业大脑团队的大数据工程师，目前的工作方向是利用大数据与AI技术，为工业企业客户构建数据中台，支撑工业企业的数字化转型和智能制造落地，用大数...
2021-05-17 08:50:43
201
转载 数据赋能：Uber的数据治理实践分享
作者丨Krishna Puttaswamy、Suresh Srinivas来源丨Uber，谈数据整理分享全文共7286个字，建议阅读15分钟01数据赋能 UberUber 通过赋能数十亿打...
2021-05-16 09:53:49
426
转载 漫说数据湖——如何建湖？如何做数据ETL？为什么大数据需要数据湖？
作者|友创云天来源|http://t.hk.uy/bt5数据湖概述数据湖这一概念，最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是：如...
2021-05-13 08:40:35
603
转载 如何设计 QQ、微信、微博、Github 等第三方账号登陆 ？（附表设计）
本文来源：https://juejin.im/post/5d0a298bf265da1b827aa06f前言：多账户登陆1. 创业初期用户名密码注册登陆手机号注册登陆2. 数据库设计3...
2021-05-12 08:41:00
187
转载 如何设计一个亿级消息量的 IM 系统
来源：https://xie.infoq.cn/article/19e95a78e2f5389588debfb1cIM核心概念用户：系统的使用者消息：是指用户之间的沟通内容。通常在I...
2021-05-11 08:41:00
281
转载 一次线上 JVM 调优实践，FullGC 40 次/天到 10 天一次的优化过程
来源 |https://blog.csdn.net/cml_blog/article/details/81057966通过这一个多月的努力，将 FullGC 从 40 次/天优化到近 1...
2021-05-08 08:41:00
95
转载 记一次性能优化，单台 4 核 8G 机器支撑 5 万 QPS
来源 |https://segmentfault.com/a/1190000018075241前言这篇文章的主题是记录一次性能优化，在优化的过程中遇到的问题，以及如何去解决的。为大家提供...
2021-05-07 08:39:35
716
转载 美团 Serverless 的探索与实践
Serverless是目前比较热门的技术话题，各大云平台以及互联网大厂内部都在积极建设Serverless产品。本文将介绍美团Serverless产品在落地过程中的一些实践经验，其中包括技...
2021-05-06 08:41:00
313
转载 说实话，DataGrip真得牛逼，只是你不会用而已~
来源 |程序不就是0和1DataGrip 版是由JetBrains公司推出的数据库管理软件，DataGrip支持几乎所有主流的关系数据库产品，如DB2、Derby、H2、MySQL、Or...
2021-05-05 19:01:00
528
转载 Pulsar 和 Kafka 架构对比
本文作者是 David Kjerrumgaard，目前任职于 Splunk，Apache Pulsar 和 Apache NiFi 项目贡献者。译者为 Sijia@StreamNative...
2021-04-30 08:41:00
223
1
转载 Flink性能调优小小总结
1 配置内存操作场景Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是...
2021-04-29 08:41:00
1027
转载 揭秘-滴滴Logi-KafkaManager的用户体验设计
本期我们将会对滴滴Logi—KafkaManager 的生产消费、资源申请、生产/消费示例和监控告警进行详细解释。生产消费概述：将简要说明生产/消费流程；资源申请：将简要说明讲解应用资源、...
2021-04-28 08:41:00
246
转载 Kafka Producer 参数设置详解
主要介绍下kafka的producer配置参数，只取了其中的一部分常用的，后续的有时间，也会补充一些，更多的详细参数，可以参考《kafka官网》，参数的内容，主要是选取《apache ka...
2021-04-27 08:57:09
1291
1
转载 基于 Flink 的数据传输平台的设计与实践
摘要：数据接入与传输作为打通数据系统与业务系统的一道桥梁，是数据系统与架构中不可或缺的一个重要部分。数据传输系统稳定性和准确性，直接影响整个数据系统服务的 SLA 和质量。此外如何提升系统...
2021-04-25 08:41:00
643
1
转载 TiDB 在知乎万亿量级业务数据下的实践和挑战
一、业务场景知乎从问答起步，在过去的 8 年中逐步成长为一个大规模的综合性知识内容平台，目前，知乎上有多达 3000 万个问题，共收获了超过 1.3 亿个回答，同时知乎还沉淀了数量众多的文...
2021-04-24 18:08:26
154
转载 面试又被问：Kafka 为什么这么快？
最近看到了个重磅消息，即将发布的 Kafka 2.8 版本会移除 ZooKeeper，这可是 Kafka 在架构上的重大升级。让一向“重量级”的 Kafka 从此变得简单了起来，轻量级的单...
2021-04-23 08:41:00
161
转载 弹性伸缩系统的技术演进与落地实践
弹性伸缩具有应突发、省成本、自动化的业务价值。平台侧将各业务零散、闲置资源进行整合，形成一个大规模资源池，通过弹性调度、库存管控技术在公司运营成本和业务体感中寻求较好的平衡。本文将介绍美团...
2021-04-23 08:41:00
603
转载 干货分享 | 万字讲解Kafka 从基础到高级（附图讲解）
1、为什么有消息系统解耦合异步处理例如电商平台，秒杀活动。一般流程会分为：1: 风险控制、2：库存锁定、3：生成订单、4：短信通知、5：更新数据通过消息系统将秒杀活动业务拆分开，将不急需...
2021-04-22 08:41:00
540
转载 Redis、Kafka 和 Pulsar 消息队列对比
导语 |市面上有非常多的消息中间件，rabbitMQ、kafka、rocketMQ、pulsar、 redis等等，多得令人眼花缭乱。它们到底有什么异同，你应该选哪个？本文尝试通过技术演...
2021-04-20 08:41:00
273
转载 大白话认识 Kafka 背后优秀的架构设计
来源 |https://juejin.cn/post/6844903999066341384一、Kafka基础消息系统的作用应该大部份小伙伴都清楚，用机油装箱举个例子所以消息系统就是如上...
2021-04-16 08:41:00
147
转载 企业数据运营——元数据管理
企业数据治理现状与问题数据运营之元数据的重要性元数据管理范围及方法元数据给企业带来的收益企业数据治理现状与问题企业架构理论体系中，数据架构始终是企业架构的核心组成部分TOGAF企业架构框架...
2021-04-14 08:40:24
435
转载 阿里集团大数据建设OneData体系.ppt
endFlink 从入门到精通系列文章基于 Apache Flink 的实时监控告警系统关于数据中台的深度思考与总结（干干货）日志收集Agent，阴暗潮湿的地底世界公众号...
2021-04-13 08:41:31
451
转载 Kafka 2.8独立运行，不再需要ZooKeeper
分布式发布与订阅系统Apache Kafka在即将发布的2.8版本，使用Kafka内部的Quorum控制器来取代ZooKeeper，因此用户第一次可在完全不需要ZooKeeper的情况下执...
2021-04-11 18:01:00
447
转载 线上服务 CPU 100%？一键定位 so easy！
转自：大数据之路，链接：my.oschina.net/leejun2005/blog/1524687背景经常做后端服务开发的同学，或多或少都遇到过 CPU 负载特别高的问题。尤其是在周末或...
2021-04-10 08:41:00
148
转载 工业互联网大数据平台建设方案
endFlink 从入门到精通系列文章基于 Apache Flink 的实时监控告警系统关于数据中台的深度思考与总结（干干货）日志收集Agent，阴暗潮湿的地底世界公众号...
2021-04-09 08:41:00
276
转载 传统数仓如何转型大数据？
Q：现在做传统数仓，如何快速转到大数据数据呢？其实很多小伙伴都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。一、数据仓库数据仓库：数据仓库系统的主要应用主要是OLA...
2021-04-08 08:41:00
423
转载 阿里云DataWorks学习——数仓架构设计
（一）技术架构选型在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如...
2021-04-07 08:41:00
1237
转载 爱奇艺数据中台建设方案.ppt
大家好，今天给大家分享下爱奇艺数据中台建设时间方案，本文主要内容包含以下几部分：数据中台的产生：数据工作的痛点、数据中台的产生、中台的实质爱奇艺数据中台的定义：理解数据中台、数据中台的发展...
2021-04-06 08:41:00
604
转载 面试官：为什么 Kafka 如此之快？
作者 | Emil Koutanov译者 | 弯月以下为译文：最近几年，软件体系结构领域发生了巨大的变化。单体应用，乃至共享一个通用数据存储的多个服务的概念已从软件从业者的世界消失了。微服...
2021-04-02 20:40:46
238
转载 Flink 执行引擎：流批一体的融合之路
摘要：本文由 Apache Flink Committer 马国维分享，主要介绍 Flink 作为大数据计算引擎的流批一体融合之路。内容包括：背景流批一体的分层架构流批一体DataStre...
2021-03-31 08:41:00
249
转载 腾讯游戏实时计算应用平台建设实践
摘要：本文由腾讯游戏增值服务部数据中心许振文分享，主要介绍腾讯游戏实时计算应用平台的建设实践。内容包括：建设背景统一实时大数据开发OneData统一大数据接口服务 OneFun数据服务微...
2021-03-30 22:20:39
175
转载 性能优化：一个 Flink 参数节省了 50% 的 CPU 消耗
本文属于 Flink 在生产环境的大规模 CPU 优化实战，大并发任务预计节省 30~50% 的 CPU 消耗。下文会详细分析优化相关的实现原理、问题定位以及优化过程。往往在做性能优化时就...
2021-03-29 08:41:00
5206
3
转载 Flink Roadmap
Feature StagesMVP:Have a look, consider whether this can help you in the future.Beta:You can...
2021-03-28 23:28:08
126
原创 如何查看 Flink 作业执行计划？
当一个应用程序需求比较简单的情况下，数据转换涉及的 operator（算子）可能不多，但是当应用的需求变得越来越复杂时，可能在一个 Job 里面算子的个数会达到几十个、甚至上百个，在如此多...
2021-03-25 21:01:00
666
1
Flink 全网最全资源（视频、博客、PPT、入门、原理、实战、性能调优、源码解析、问答等持续更新）
2019-10-25
Flink源码解析.zip
2019-06-04
Flink 全网最全资源（视频、博客、PPT、入门、实战、源码解析、问答等持续更新）.md
2019-06-04
Distributed.Systems.An.Algorithmic.Approach.2nd.Edition
2018-10-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人