- 博客(732)
- 资源 (14)
- 收藏
- 关注
RSS订阅转载 领英如何应对Apache Spark的Scalability挑战
分享嘉宾简介：沈旻，领英Spark团队软件工程师，技术负责人，伊利诺伊芝加哥分校计算机专业博士学位。林致远，领英Spark团队软件工程师，卡耐基梅隆大学硕士学位，专攻分布式系统方向。以下内...
2021-03-24 08:41:00
184
转载 基于 Flink SQL CDC 的实时数据同步方案
整理：陈政羽（Flink 社区志愿者）Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里...
2021-03-23 21:04:22
750
1
转载 榨干服务器：一次惨无人道的性能优化
背景做过2B类系统的同学都知道，2B系统最恶心的操作就是什么都喜欢批量，这不，我最近就遇到了一个恶心的需求——50个用户同时每人导入1万条单据，每个单据七八十个字段，请给我优化。Excel...
2021-03-22 08:41:00
143
转载 APM 介绍与实现
本文来说说什么是 APM 系统，也就是大家平时说的监控系统，以及怎么实现一个 APM 系统。因为一些特殊的原因，我在文中会使用 Dog 作为我们的系统名称进行介绍。我们为 Dog 规划的目...
2021-03-21 18:45:00
1161
转载 ClickHouse 在日志存储与分析方面作为 ElasticSearch 和 MySQL 的替代方案
2018年，我写过一篇关于Clickhouse的文章，这段内容在互联网上仍然很流行，甚至被多次翻译。现在已经过去两年多，同时 Clickhouse 的开发节奏仍然活跃: 上个月有 800 ...
2021-03-20 19:31:30
1516
转载 Flink 1.12 以 upsert 的方式读写 Kafka 数据
在某些场景中，比如GROUP BY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将 Kafka 消息记录的 key 当成主键处理，用来确定一条数据是应该作为插入、删除还是更新记录来...
2021-03-19 08:41:00
2485
1
转载 深入理解 YARN Resource Localization
一个Applciation运行在YARN上的流程为，从YARN Client向ResourceManager提交任务，将Applciation所需资源提交到HDFS中，然后Resource...
2021-03-18 21:49:24
804
转载 Flink 开发生产问题汇总，亲自解决的才是最宝贵的
本文收集了与粉丝沟通过程中常见的问题与解决方案，整理成文，供大家参考和查阅。1、Checkpoint失败：Checkpoint expired before completing原因是因为...
2021-03-17 08:41:00
831
转载 Spark-SQL性能极致优化： Native Codegen Framework
EMR团队探索并开发了SparkSQL Native Codegen框架，为SparkSQL换了引擎，新引擎带来最高4倍性能提升，为EMR再次获取世界第一立下汗马功劳。来自阿里云EMR团队...
2021-03-16 08:41:00
470
转载 Elasticsearch 生产环境集群部署最佳实践
在生产环境搭建或维护 Elasticsearch 集群和个人搭建集群的小打小闹有非常大的不同。本文的最佳实践基于每天增量数亿+ 的线上环境。少啰嗦，上干货。1、内存Elasticsearc...
2021-03-15 08:41:00
407
转载 微博千万级规模高性能高并发的网络架构设计
架构以及我理解中架构的本质在开始谈我对架构本质的理解之前，先谈谈自己的个人见解，千万级规模的网站感觉数量级是非常大的，对这个数量级我们战略上要重视它 ，战术上又要藐视它。先举个例子感受一下...
2021-03-14 19:03:07
180
原创 HotRing——热点感知的哈希冲突解决方案
本文作者：Jiekun，授权转发原文链接：https://jiekun.dev/posts/hotring/在使用链表法解决哈希冲突时，由于多数场景下，热点数据异常集中，链表中多个ite...
2021-03-13 18:53:38
566
转载 迄今为止最好用的Flink SQL教程：Flink SQL Cookbook on Zeppelin
对于初学者来说，学习 Flink 可能不是一件容易的事情。看文档是一种学习，更重要的是实践起来。但对于一个初学者来说要把一个 Flink SQL 跑起来还真不容易，要搭各种环境，真心累。很...
2021-03-12 08:41:00
303
转载 苏宁数据中台架构实践
苏宁数据中台是一个大项目群：OLAP 是底层的加速、查询引擎，底层支持 Druid、ES、PGCitus 集群，类似 Presto，跟 Presto 不同的是 OLAP 会主动对数据进行 ...
2021-03-11 08:41:00
135
转载 快手基于 Flink 的持续优化与实践
摘要：本文由快手实时计算负责人董亭亭分享，主要介绍快手基于 Flink 的持续优化与实践的介绍。内容包括：Flink 稳定性持续优化Flink 任务启动优化Flink SQL 实践与优化未...
2021-03-10 08:41:00
88
转载 ClickHouse 在腾讯音乐敏捷数据分析中的实践与思考
Flink 从入门到精通系列文章基于 Apache Flink 的实时监控告警系统关于数据中台的深度思考与总结（干干货）日志收集Agent，阴暗潮湿的地底世界公众号(zh...
2021-03-09 08:41:00
242
转载 流批一体神器 Flink 之 Flink State 架构原理解析
身为大数据工程师，你还在苦学Spark、Hadoop、Storm，却还没搞过Flink？醒醒吧！刚过去的2020双11，阿里在Flink实时计算技术的驱动下全程保持了“如丝般顺滑”，基于F...
2021-03-08 08:41:00
442
转载 美团外卖特征平台的建设与实践
总第437篇2021年 第007篇随着美团外卖业务的发展，算法模型也在不断演进迭代中。本文从特征框架演进、特征生产、特征获取计算以及训练样本生成四个方面介绍了美团外卖特征平台在建设与实践中...
2021-03-05 08:41:00
175
转载 Clickhouse在头条火山引擎只能数据洞察的应用
Flink 从入门到精通系列文章基于 Apache Flink 的实时监控告警系统关于数据中台的深度思考与总结（干干货）日志收集Agent，阴暗潮湿的地底世界公众号(zhis...
2021-03-03 08:41:00
163
1
转载 主流微服务全链路监控系统之战
问题背景随着微服务架构的流行，服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程...
2021-03-02 08:46:10
232
1
转载 HBase、Kudu 和 ClickHouse 全视角对比
前言Hadoop生态圈的技术繁多。HDFS一直用来保存底层数据，地位牢固。Hbase作为一款Nosql也是Hadoop生态圈的核心组件，它海量的存储能力，优秀的随机读写能力，能够处理一些H...
2021-03-01 08:50:22
690
转载 强烈推荐｜DorisDB Vs ClickHouse Vs GreenPlum
强烈建议兄弟们可以抽时间看看这个分享，分享视频链接我会发出来，当你看完这个分享之后，你会知道为什么dorisdb会13个SSB单表查询中有9个比clickhouse快，dorisdb做了哪...
2021-02-27 18:24:36
7876
1
转载 ClickHouse在实时广告圈人业务中的最佳实践
Flink 从入门到精通系列文章基于 Apache Flink 的实时监控告警系统关于数据中台的深度思考与总结（干干货）日志收集Agent，阴暗潮湿的地底世界公众号(...
2021-02-24 08:41:00
117
转载 ClickHouse在B站用户行为分析的实战
Flink 从入门到精通系列文章基于 Apache Flink 的实时监控告警系统关于数据中台的深度思考与总结（干干货）日志收集Agent，阴暗潮湿的地底世界公众号(zhi...
2021-02-23 08:41:00
478
转载 徒手撸了一个API网关，理解更透彻了，代码已上传github，自取~
一、背景最近在github上看了soul网关的设计，突然就来了兴趣准备自己从零开始写一个高性能的网关。经过两周时间的开发，我的网关ship-gate核心功能基本都已完成，最大的缺陷就是前端...
2021-02-21 08:42:17
216
转载 从 0 到 1 搭建业务数据监控平台
业务监控, 主要侧重对业务状态数据的实时监控, 收集数据后对业务数据进行深入的统计分析, 帮助业务方发现问题, 定位问题根源。这其中数据分为:1.业务自身输出的业务日志(比如: 提单, ...
2021-02-20 08:25:31
535
转载 徒手撸了一个RPC框架，理解更透彻了，代码已上传github，自取~
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章一、前言前段时间看到一篇不错的文章《看了这篇你就会手写RPC框架了》，于是便来了兴...
2021-02-17 19:01:00
462
转载 震惊！这篇文章解读数据仓库、数据湖、数据中台等概念，竟然写了4万字！
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来-据统计，...
2021-02-04 18:31:00
1721
转载 民生银行是怎么在云原生领域把数据中台建起来的？
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章一、引言在“技术+数据”双轮驱动改革转型的大背景下，民生银行于2018年启动了数据...
2021-02-03 08:41:00
236
转载 快手元数据治理实践
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章基于 Apache Flink 的实时监控告警系统关于数据中台的深度思考与...
2021-02-01 18:32:00
200
转载 数据治理的定义，挑战和最佳实践
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章数据治理构成了公司范围内数据管理的基础，并使有效使用可信赖的数据成为可能。数据的...
2021-01-31 18:41:00
263
转载 Flink + Iceberg 全场景实时数仓的建设实践
整理｜路培杰（Flink 社区志愿者）摘要：Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hud...
2021-01-29 08:41:00
154
转载 阿里数据技术专家的数据平台实战笔记
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章简介：2020 年注定是不同寻常的，突如其来的疫情按下了人们生活的暂停键。对于用...
2021-01-28 08:41:00
382
转载 又一个大数据相关项目成为顶级项目
2021年01月21日，Apache 官方博客宣布 项目 Apache® Superset™ 成为顶级项目。Apache® Superset™ 是一个现代化的大数据探索和可视化平台，它允...
2021-01-27 08:41:00
124
转载 打造全球最大规模 Kafka 集群，Uber 的多区域灾备实践
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章作者 | Uber 工程博客译者 | 王者策划 | 蔡芳芳Uber 的 Kafk...
2021-01-26 08:41:00
209
1
原创 基于 Flink 的动态欺诈检测系统（中）
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章前言在上一篇博客中，我们对欺诈检测引擎的目标和所需要的功能进行了描述，我们还描述...
2021-01-24 18:02:00
168
转载 Flink SQL高效Top-N方案的实现原理
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章https://www.jianshu.com/p/dea467eb67e0To...
2021-01-23 18:01:00
176
原创 基于 Flink 的动态欺诈检测系统（上）
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章前言在本系列博客中，你将学习到三种构建 Flink 应用程序的强大案例：动态更新...
2021-01-22 09:29:00
656
转载 万字长文|一文了解基于Flink构建流批一体数仓的技术点
基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代，其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。本文将以Flink1.1...
2021-01-21 08:41:00
553
转载 美团酒旅数据治理实践
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章作为一家高度数字化和技术驱动的公司，美团非常重视数据价值的挖掘。在公司日常运行中...
2021-01-20 08:41:00
195
Flink 全网最全资源（视频、博客、PPT、入门、原理、实战、性能调优、源码解析、问答等持续更新）
2019-10-25
Flink源码解析.zip
2019-06-04
Flink 全网最全资源（视频、博客、PPT、入门、实战、源码解析、问答等持续更新）.md
2019-06-04
Distributed.Systems.An.Algorithmic.Approach.2nd.Edition
2018-10-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人