- 博客(732)
- 资源 (14)
- 收藏
- 关注
RSS订阅转载 Realtime Data Processing at Facebook
概要这篇论文发表于2016年，主要是介绍Facebook内部的流式计算平台的设计与思考，对于流式计算的关键特性的实现选型上进行深度对比分析。流式计算系统5个衡量指标文中提到有5个重要的考量...
2022-02-24 09:01:00
204
转载 图文详解CDC技术，看这一篇就够了！
这篇文章是对变更数据捕获 (CDC)实践的介绍，而不是对特定工具的深入探讨。假设我们正在构建一个简单的 Web 应用程序。在大多数情况下，此类项目从最小的数据架构开始。例如，像 MySQ...
2022-02-22 09:11:00
6772
转载 2022年的五个大数据发展趋势
全文共7198个字，建议阅读19分钟2021年，我们看到围绕现代数据栈的兴起出现了相当大的加速效应。我们现在有一个海啸般的通讯、影响者、投资者、专门的网站、会议和活动来宣扬它。围绕现代数据...
2022-02-21 09:31:00
578
转载 2天，撸完Flink+Hudi+Iceberg数据湖落地系统，爽！
数仓技术应对关系型结构化数据游刃有余，但对于多元异构数据，却爱莫能助。最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块...
2022-02-20 12:01:00
354
转载 2021年数据中台行业十大关键词
导读：回顾2021年，由于技术变革、行业理念创新以及政策风向的变化，在数据中台领域兴起了许多热门概念。我们盘点了过去一年中数据中台行业十大热门关键词，包括了云原生、隐私计算这类热门技术；国...
2022-02-14 19:02:00
795
转载 重磅！Elasticsearch 8 正式发布！
文| Travis出品 | OSC开源社区（ID：oschina2013）Elasticsearch 是一个基于 Lucene 库的搜索引擎。它提供了一个分布式、支持多租户的全文搜索引擎...
2022-02-12 14:34:59
359
转载 大型有状态服务基于 K8s 的落地实践——按部门租户隔离
作为一个容器化平台，在容器隔离的基础上，为什么还要租户隔离？一方面，目前容器隔离还有一定的局限性，准确的说，是无法做到宿主机资源 100% 隔离；另一方面，是平台层面对业务线占用资源的限制...
2022-02-11 09:31:00
422
转载 20000字详解大厂实时数仓建设（好文收藏）
一、实时数仓建设背景1. 实时需求日趋迫切目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切，需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1，调度频率以天为单位，...
2022-02-10 09:31:00
908
转载 从 Flink Forward Asia 2021，看Flink未来开启新篇章
律回春晖渐，万象始更新，这句诗用来形容2021年的大数据领域再合适不过，而Flink在2021年也开启了新的篇章。2022年1月8-9号，Flink Forward Asia（FFA）线上...
2022-01-19 12:10:00
284
转载 Pravega Flink Connector Table API 进阶功能探秘
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自戴尔科技集团软件工程师周煜敏在 Flink Forward Asia 2021 分享的议题《Pravega Fli...
2022-01-13 09:58:03
119
转载 Apache Flink不止于计算，数仓架构或兴起新一轮变革
作者 | 蔡芳芳 采访嘉宾 | 王峰（莫问） 维基百科的“Apache Flink”词条下，有这么一句描述：“Flink 并不提供自己的数据存储系统，但为 Amazon ...
2022-01-11 09:08:11
238
转载 StarRocks 2.0，性能强悍，又快又稳！
2022年，它来了。2.0版本的 StarRocks，它也来了。2021年刚刚过去，回望这一年间经历的林林总总，每一个亲身经历 StarRocks 发展的小伙伴们，心中都不免泛起涟漪：20...
2022-01-07 09:01:00
1332
转载 20000字详解数据湖：概念、特征、架构与案例
全文共22790个字，35图最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？有没有成熟的数据湖解决方案？各大厂商的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？...
2022-01-06 08:51:00
1249
转载 Java 18 都要来了，你不会还在用Java 8吧？
Java 开发工具包 (JDK) 18 将于 2022 年 3 月 22 日发布。新版本的标准 Java 将有九个新特性，该特性集已于 12 月 9 日冻结，进入 Rampdown 第一阶...
2022-01-03 18:10:40
118
转载 腾讯数据湖的元数据治理实践
关注下面公众号，回复：数据湖关键字即可获取 PPTEND热门内容两年经验斩获蚂蚁/头条/PingCAP Offer，牛逼了快手大数据平台服务化实践深入理解 Java 内存模型关注我关注我...
2021-12-30 08:51:00
231
1
转载 Flink SQL Client 源码解析
Abstract本文基于 Flink 1.12-SNAPSHOT，使用sql client命令行提交insert语句进行整个流程的分析。sql-client.shembedded--u...
2021-12-28 08:51:00
1023
2
转载 RedisJSON 横空出世！干掉 MongoDB 和 ES！
近期官网给出了RedisJson（RedisSearch）的性能测试报告，可谓碾压其他NoSQL，下面是核心的报告内容，先上结论：对于隔离写入(isolated writes)，Redis...
2021-12-22 08:41:00
232
转载 卧槽！Log4j2 再爆雷，没完没了，Log4j v2.17.0 横空出世。。。
Log4j2 再爆雷Log4j2 这是没完没了了，我以为《Apache Log4j2 又出现漏洞，发现者建议尽快升级到 2.16.0》 Log4j 2.16.0 是最终终结版本了，没想到才...
2021-12-19 19:41:36
194
转载 监控告警满飞天，运维在家睡到自然醒...
作者 |Andrei Ushakov来源 |http://7t4z2.cn/2Oa14本文阐述了 Netflix 的系统监控实践：自研 Telltale，成功运行并监控着 Netfli...
2021-12-16 22:01:00
190
转载 太卷了，这篇 CPU Cache，估计没人看
无论你写什么样的代码都会交给 CPU 来执行，所以，如果你想写出性能比较高的代码，这篇文章中提到的技术还是值得认真学习的。另外，千万别觉得这些东西没用，这些东西非常有用，十多年前就是这些知...
2021-12-15 08:41:00
487
转载 IDEA牛逼！900行"又臭又长"的类重构，几分钟搞定
最近，在对已有项目进行扩展的时候，发现要改动的一个类它长900行，开放了近40个public接口，我流着泪把它给改完了。为了防止这样的惨剧再次发生在我的身上，我觉得有必要写一篇博客来让广大...
2021-12-14 08:41:00
100
转载 突发！Log4j 爆“核弹级”漏洞，Flink 等项目受影响，提供 Flink 解决方法，赶紧修！...
昨天，你应急了吗？昨晚，对很多程序员来说可能是一个不眠之夜。12 月 10 日凌晨，Apache 开源项目 Log4j 的远程代码执行漏洞细节被公开，由于 Log4j 的广泛使用，该漏...
2021-12-11 12:48:14
684
2
转载 基于阿里（OneData）的数仓体系建设
本文目录：一、指导思想二、数据调研三、架构设计四、指标体系搭建五、模型设计六、维度设计七、事实表设计八、其他规范OneData是阿里巴巴内部进行数据整合和管理方法体系和工具。一、指导思想首...
2021-12-08 08:41:00
368
转载 京东——实时数仓治理与实战
关注下面公众号，回复：数据治理关键字即可获取 PPTEND热门内容两年经验斩获蚂蚁/头条/PingCAP Offer，牛逼了快手大数据平台服务化实践深入理解 Java 内存模型关注我关注...
2021-12-03 08:41:00
170
转载 税前2万4，到手1万4？？？年终奖计税方式2022年1月1日起有新变化！
这是前几天脉脉榜三的一则帖子。原贴是这么说的：有史以来扣税最多的一次，税前2万4，到手1万4，心态崩了。万万没想到会扣这么多。网帖发出后，引发了网友的围观、转载和评论。笔者把一些高赞的回答...
2021-12-02 08:41:00
453
转载 干掉IDEA：JetBrains推出下一代轻量级开发工具Fleet
JetBrains以 20 年的 IDE 开发经验为基础从头打造了号称下一代的开发工具Fleet，它使用了 IntelliJ 代码处理引擎，具有分布式 IDE 架构和重新设计的 UI。它的...
2021-12-01 08:41:00
1056
转载 Flink 在伴鱼的实践：如何保障数据的准确性
随着伴鱼业务的快速发展，离线数据日渐无法满足运营同学的需求，数据的实时性要求越来越高。之前的实时任务是通过实时同步至 TiDB 的数据，利用 TiDB 进行微批计算。随着越来越多的实时场景...
2021-11-30 08:41:00
321
转载 数仓 | 数据模型OneData实践
数仓建模-实现OneData经验数据治理问题数据孤岛：各部门、产品、业务的数据相互隔离，难以通过共性ID打通重复建设：重复的开发、计算、存储，带来高昂的数据成本数据歧义：指标定义口径不一致...
2021-11-28 19:04:25
803
转载 腾讯——大数据安全体系介绍
关注下面公众号，回复：数据治理关键字即可获取 PPTEND热门内容两年经验斩获蚂蚁/头条/PingCAP Offer，牛逼了快手大数据平台服务化实践深入理解 Java 内存模型关注我关注...
2021-11-27 12:01:00
230
转载 超牛逼的性能调优利器 — 火焰图
如何生成 Flink 作业的交互式火焰图？前言工具的进化一直是人类生产力进步的标志，合理使用工具能大大提高我们的工作效率，遇到问题时，合理使用工具更能加快问题排查的进度。这也是我为什么非常...
2021-11-26 08:41:00
315
转载 Java jar 如何防止被反编译？代码写的太烂，害怕被人发现
java作为解释型的语言，其高度抽象的特性意味其很容易被反编译，容易被反编译，自然有防止反编译措施存在。今天就拜读了一篇相关的文章，受益匪浅，知彼知己嘛！！之所以会对java的反编译感兴趣...
2021-11-25 08:41:00
120
转载 聊聊 Kafka Consumer 那点事
在上一篇中我们详细聊了关于 Kafka Producer 内部的底层原理设计思想和细节, 本篇我们主要来聊聊Kafka Consumer即消费者的内部底层原理设计思想。1Co...
2021-11-20 18:37:15
331
转载 有赞——数据地图实践
关注下面公众号，回复：数据治理关键字即可获取 PPTEND热门内容两年经验斩获蚂蚁/头条/PingCAP Offer，牛逼了快手大数据平台服务化实践深入理解 Java 内存模型关注我关注...
2021-11-18 08:41:00
202
转载 小米——数据管理与应用实践
关注下面公众号，回复：数据治理关键字即可获取 PPTEND热门内容两年经验斩获蚂蚁/头条/PingCAP Offer，牛逼了快手大数据平台服务化实践深入理解 Java 内存模型关注我关注...
2021-11-17 08:41:00
194
转载 Elasticsearch 为什么能做到快速检索？— 倒排索引的秘密
来源：https://ricstudio.top/archives/es-lucene-reverted-index"All problems in computer science ca...
2021-11-16 08:41:00
195
转载 贝壳找房——业务数据治理中台实践
关注下面公众号，回复：数据治理 关键字即可获取 PPTEND热门内容两年经验斩获蚂蚁/头条/PingCAP Offer，牛逼了快手大数据平台服务化实践深入理解 Java 内存模型关注我关注...
2021-11-15 08:41:00
189
原创 宕机一台机器，结果一百多个 Flink 作业挂了
背景因宕机了一台物理机器，实时集群不少作业发生 failover，其中大部分作业都能 failover 成功，某个部门的部分作业一直在 failover，始终未成功，到 WebUI 查看作...
2021-11-14 18:31:00
1441
转载 我司“双11”限流方案，进来抄作业！
日常生活中，有哪些需要限流的地方？像我旁边有一个国家景区，平时可能根本没什么人前往，但是一到十一或者春节就人满为患，这时候景区管理人员就会实行一系列的政策来限制进入人流量，为什么要限流呢？...
2021-11-10 22:31:55
126
转载 Postman 最被低估的功能
Postman 最被低估的功能，自动化接口测试效率简直无敌！该篇文章针对已经掌握 Postman 基本用法的读者，即对接口相关概念有一定了解、已经会使用 Postman 进行模拟请求的操作...
2021-11-07 18:01:00
99
转载 面试官：群聊消息的已读未读功能，你来设计一个?
一朋友和我讨论他前段时间面试某大公司的一题目 ：企业IM比如企业微信、钉钉里面的群消息的有个已读未读的功能，发送者刚发出消息时，当前群里其他群成员都是未读状态，陆陆续续有人看了这个消息，这...
2021-11-04 08:41:00
121
Flink 全网最全资源（视频、博客、PPT、入门、原理、实战、性能调优、源码解析、问答等持续更新）
2019-10-25
Flink源码解析.zip
2019-06-04
Flink 全网最全资源（视频、博客、PPT、入门、实战、源码解析、问答等持续更新）.md
2019-06-04
Distributed.Systems.An.Algorithmic.Approach.2nd.Edition
2018-10-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人