自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Ververica的博客

Apache Flink 官方运营账号

转载 阿里开源 10 年,这封信里也有 Flink 的身影。

导读:年末将至,阿里巴巴开源技术委员会负责人贾扬清写了一封信,想要和热爱开源的你说一声:谢谢。未来,我们希望与更多开源人一起,用技术普惠世界。阿里巴巴开源技术委员会负责人贾扬清当我们回想...

2020-01-15 14:00:00

阅读数 141

评论数 0

原创 实时计算在贝壳的实践

本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用,通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。 **摘要:**Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。本...

2020-01-14 12:12:26

阅读数 474

评论数 0

原创 阿里巴巴大规模应用Flink的踩坑经验:如何大幅降低 HDFS 压力?

作者:邱从贤(山智) 众所周知 Flink 是当前广泛使用的计算引擎,Flink 使用 checkpoint 机制进行容错处理[1],Flink 的 checkpoint 会将状态快照备份到分布式存储系统,供后续恢复使用。在 Alibaba 内部我们使用的存储主要是 HDFS,当同一个集群的 Jo...

2020-01-13 17:59:28

阅读数 158

评论数 0

原创 基于 Flink 构建 CEP 引擎的挑战和实践

奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击?其中面临的挑战以及宝贵的实践经验有哪些?本文主要内容分为以下四个方面: 背景及现状 技术架构 产品及运维 未来发展与思考 作者:韩鹏@奇安信 背景及现状 奇安信集团作为一家网络安全公司,专门为政府、企业,...

2020-01-13 16:24:11

阅读数 206

评论数 0

原创 Flink Weekly | 每周社区动态更新 - 20200107

本文为 Flink Weekly 的第三期,由 Tang Yun 整理,主要内容包括:Flink 1.10.0 的发布进展,将 blink planner 设置为 SQL client 默认 planner 的讨论,以及如何支持 SQL client gateway 的 FLIP。 作者:唐云(茶...

2020-01-10 17:45:02

阅读数 185

评论数 0

原创 监控指标10K+!携程实时智能检测平台实践

本文将介绍携程实时智能异常检测平台——Prophet。到目前为止,Prophet 基本覆盖了携程所有业务线,监控指标的数量达到 10K+,覆盖了携程所有订单、支付等重要的业务指标。Prophet 将时间序列的数据作为数据输入,以监控平台作为接入对象,以智能告警实现异常的告警功能,并基于 Flink...

2020-01-10 17:15:17

阅读数 179

评论数 0

原创 美团点评基于 Flink 的实时数仓平台实践

数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中,美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。 作者:鲁昊@美团点评 ###点击查看本场直播>&...

2020-01-10 17:09:32

阅读数 245

评论数 0

原创 小米流式平台架构演进与实践

作者:夏军@小米 小米业务线众多,从信息流,电商,广告到金融等覆盖了众多领域,小米流式平台为小米集团各业务提供一体化的流式数据解决方案,主要包括数据采集,数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条,实时同步任务 1.5 万,实时计算的数据 1 万亿条。 伴随着小米业务的发展,流...

2020-01-10 17:06:16

阅读数 183

评论数 0

原创 基于 Flink 构建 CEP 引擎的挑战和实践

摘要:奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击?其中面临的挑战以及宝贵的实践经验有哪些?本文主要内容分为以下四个方面:背景及现状技术架构产...

2020-01-09 20:30:00

阅读数 183

评论数 0

原创 小米流式平台架构演进与实践

摘要:小米业务线众多,从信息流,电商,广告到金融等覆盖了众多领域,小米流式平台为小米集团各业务提供一体化的流式数据解决方案,主要包括数据采集,数据集成和流式计算三个模块。目前每天数据量达...

2020-01-07 15:00:00

阅读数 142

评论数 0

原创 美团点评基于 Flink 的实时数仓平台实践

摘要:数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中,美团点评高级技术专家鲁昊为大家分享...

2020-01-02 18:00:00

阅读数 168

评论数 0

原创 监控指标10K+!携程实时智能检测平台实践

摘要:本文将介绍携程实时智能异常检测平台——Prophet。到目前为止,Prophet 基本覆盖了携程所有业务线,监控指标的数量达到 10K+,覆盖了携程所有订单、支付等重要的业务指标。...

2019-12-30 17:00:00

阅读数 160

评论数 0

原创 年度回顾 | 2019 年的 Apache Flink(文末有福利)

2019 年即将落下帷幕,这一年对于 Apache Flink 来说是非常精彩的一年,里程碑式的一年。随着这一年在邮件列表发送了超过 1 万封邮件,JIRA 中超过 4 千个 ticke...

2019-12-26 15:41:22

阅读数 181

评论数 0

原创 在 Flink 算子中使用多线程如何保证不丢数据?

本人通过分析痛点、同步批量请求优化为异步请求、多线程 Client 模式、Flink 算子内多线程实现以及总结四部分帮助大家理解 Flink 中使用多线程的优化及在 Flink 算子中使用多线程如何保证不丢数据。 分析痛点 笔者线上有一个 Flink 任务消费 Kafka 数据,将数据转换后,在 ...

2019-12-25 18:00:49

阅读数 173

评论数 0

原创 日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践

简介: 友信金服公司推行全域的数据体系战略,通过打通和整合集团各个业务线数据,利用大数据、人工智能等技术构建统一的数据资产,如 ID-Mapping、用户标签等。友信金服用户画像项目正是以此为背景成立,旨在实现“数据驱动业务与运营”的集团战略。目前该系统支持日处理数据量超 10 亿,接入上百种合规...

2019-12-25 17:56:19

阅读数 131

评论数 0

原创 Flink Weekly | 每周社区动态更新-12/24

本期的主要内容由 Hequn Cheng 整理,包括:发布 Flink 1.10 和 Flink 1.9.2 的更新,关于将 Flink Docker image 发布集成到 Flink 发布过程中的讨论,PyFlink 后期新功能的讨论以及一些博客文章。 作者:程鹤群(军长) Apache Fl...

2019-12-25 17:36:06

阅读数 127

评论数 0

原创 Flink Weekly | 每周社区动态更新

本周起,Flink 社区微信公众号将同步 Apache Flink 中文邮件列表中的 Flink Weekly 周报,本期的主要内容由 Hequn Cheng 整理,包括:发布 Flin...

2019-12-24 16:30:00

阅读数 123

评论数 0

转载 日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践

作者 | 杨毅,穆超峰,贺小兵,胡夕导读:当今生活节奏日益加快,企业面对不断增加的海量信息,其信息筛选和处理效率低下的困扰与日俱增。由于用户营销不够细化,企业 App ...

2019-12-23 16:30:00

阅读数 131

评论数 0

转载 推荐几位优秀的程序员和他们的公众号

人与人之间的差异,很多时候在于认知,说起大厂的程序员,一般技术是会好些,一方面原因能进大厂的程序员大部分学历、专业都过硬,另一方面也是最主要的,他们也会不断利用大的平台学习总结,触类旁通...

2019-12-20 08:30:00

阅读数 147

评论数 0

原创 State Processor API:如何读取,写入和修改 Flink 应用程序的状态

过去无论是在生产中使用,还是调研 Apache Flink,总会遇到一个问题:如何访问和更新 Flink 保存点(savepoint)中保存的 state?Apache Flink 1....

2019-12-19 16:42:55

阅读数 126

评论数 0

原创 Flink SQL 如何实现数据流的 Join?

Join 的实现依赖于缓存整个数据集,而 Streaming SQL Join 的对象却是无限的数据流,内存压力和计算效率在长期运行来说都是不可避免的问题。下文将结合 SQL 的发展解析 Flink SQL 是如何解决这些问题并实现两个数据流的 Join。 无论在 OLAP 还是 OLTP 领域,...

2019-12-19 16:09:21

阅读数 121

评论数 0

原创 仅 1 年 GitHub Star 数翻倍,Flink 做了什么?

在 Flink Forward Asia 2019 上,阿里巴巴资深技术专家,实时计算负责人王峰 (莫问)总结了 2019 年 Flink 在中国的发展和演进,阿里对 Flink 社区的贡献以及未来 Flink 的最新发展方向。 作者:王峰(莫问) Apache Flink 是公认的新一代开源...

2019-12-19 16:07:06

阅读数 128

评论数 0

转载 Flink SQL 如何实现数据流的 Join?

无论在 OLAP 还是 OLTP 领域,Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言,经过数据库领域多年的积累,Join 语义以及实现已经十分成熟,然...

2019-12-17 18:34:35

阅读数 126

评论数 0

原创 Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA大会视频)

摘要:如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了...

2019-12-16 17:38:03

阅读数 166

评论数 0

原创 Flink Batch SQL 1.10 实践

Flink 作为流批统一的计算框架,在 1.10 中完成了大量 batch 相关的增强与改进。1.10 可以说是第一个成熟的生产可用的 Flink Batch SQL 版本,它一扫之前 ...

2019-12-12 12:50:00

阅读数 119

评论数 0

原创 如何在 PyFlink 1.10 中自定义 Python UDF?

我们知道 PyFlink 是在 Apache Flink 1.9 版新增的,那么在 Apache Flink 1.10 中 Python UDF 功能支持的速度是否能够满足用户的急切需求...

2019-12-11 11:30:00

阅读数 126

评论数 0

转载 在 Cloudera Data Flow 上运行你的第一个 Flink 例子

文档编写目的Cloudera Data Flow(CDF) 作为 Cloudera 一个独立的产品单元,围绕着实时数据采集,实时数据处理和实时数据分析有多个不同的功能模块,如下图所示:图...

2019-12-10 20:30:00

阅读数 132

评论数 0

原创 Flink Forward Asia 2019 - 总结和展望(附PPT下载链接)

11 月 28 - 30 日,北京迎来了入冬以来的第一场雪,2019 Flink Forward Asia(FFA)也在初雪的召唤下顺利拉开帷幕。尽管天气寒冷,FFA 实际到会人次超过 ...

2019-12-03 19:02:42

阅读数 151

评论数 0

原创 都在这儿了!Flink Forward Asia 最佳参会指南

11 月 28 日(本周四),Flink Forward Asia 2019 即将重磅开启!为了让大家更全面、充分的了解大会内容,找到最佳参会方式,Flink 社区整理了...

2019-11-26 12:07:50

阅读数 117

评论数 1

原创 藏不住了,Flink 未来发展的最新方向在这里!

距离 11 月 28 日 Flink Forward Asia 大会重磅开启还剩 3 天!之前我们详细介绍了围绕 Apache Flink 及其核心技术开设的五大专场,包括:五大专题详细内容。除分会场细分方向的主要内容外,Flink Forward Asia 2019 主会场更以顶级阵容与你一起探...

2019-11-25 21:52:33

阅读数 162

评论数 1

原创 Flink 实战:如何解决生产环境中的技术难题?

大数据作为未来技术的基石已成为国家基础性战略资源,挖掘数据无穷潜力,将算力推至极致是整个社会面临的挑战与难题。Apache Flink 作为业界公认为最好的流计算引擎,不...

2019-11-21 08:34:00

阅读数 153

评论数 1

原创 Flink 在人工智能领域的应用实践

人工智能是未来十年最重要的技术革命与驱动力,在各行各业产生着日益重要的作用,它与大数据的发展相辅相成,不仅推动人类社会迈入更智慧的世界,也为数据的应用带来无可估量的价值。...

2019-11-20 11:38:13

阅读数 173

评论数 2

转载 实用干货!大数据入门的常用技术栈全在这里了

大数据自 2009 年走向人们的视野,亦如所有新技术的发展,经历了一波炒作后,由风口回归理性发展。我们可以看到,随着 IOT 技术的发展和成熟,以及 5G 业务的全面铺开,数据规模还将持续增长。新晋技术风口 AI、区块链、RPA 的发展也都离不开大数据技术。大数据技术将作为一项通用技术,应用在各个...

2019-11-19 14:18:48

阅读数 147

评论数 2

原创 如何分析及处理 Flink 反压?

反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为瓶颈,处理速率跟不上上游发送数据的速率,而需要对上...

2019-11-18 15:10:00

阅读数 142

评论数 2

原创 基于 Flink 的实时数仓生产实践

数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。在智能商业中,数据的结果代表了用户反馈、获取数据的及时性尤为重要。快速获取数据反馈能够帮助...

2019-11-15 14:42:14

阅读数 260

评论数 2

原创 Apache Flink 进阶(八):详解 Metrics 原理与实战

本文由 Apache Flink Contributor 刘彪分享,对什么是 Metrics、如何使用 Metrics两大问题进行了详细的介绍,并对 Metrics 监控实战进行解释说明。什么是 Metrics?Flink 提供的 Metrics 可以在 Flink 内部收集一些指标,通过这些指标...

2019-11-14 14:54:23

阅读数 179

评论数 3

原创 开源大数据生态下的 Flink 应用实践

过去十年,面向整个数字时代的关键技术接踵而至,从被人们接受,到开始步入应用。大数据与计算作为时代的关键词已被广泛认知,算力的重要性日渐凸显并发展成为企业新的增长点。Apa...

2019-11-13 14:55:26

阅读数 120

评论数 3

原创 Flink State 有可能代替数据库吗?

有状态的计算作为容错以及数据一致性的保证,是当今实时计算必不可少的特性之一,流行的实时计算引擎包括 Google Dataflow、Flink、Spark (Structure) Streaming、Kafka Streams 都分别提供对内置 State 的支持。State 的引入使得实时应用可...

2019-11-12 11:25:26

阅读数 153

评论数 3

原创 咱也过个双 11 !Flink Forward Asia 培训门票买一赠一!

近20 年,整个社会面临着数字化的时代巨变,手中的手机不断迭代升级,送到家里的快递越来越快,个人信息上传云端,人与人的联结依靠数据能够跨越山海。“快”成为整个社会、企业、个人必须适应的节奏。Apache Flink(以下简称 Flink) 在此背景下应运而生,成为数字时代实时、快速计算必不可少的存...

2019-11-11 14:23:05

阅读数 137

评论数 2

转载 Flink 流式计算在节省资源方面的简单分析

本文由小米的王加胜同学分享,文章介绍了 Apache Flink 在小米的发展,从 Spark Streaming 迁移到 Flink ,在调度计算与调度数据、Mini batch 与 streaming、数据序列化等方面对比了 Spark Streaming 和 Flink 的一些区别。Flin...

2019-11-08 13:53:39

阅读数 115

评论数 2

提示
确定要删除当前文章?
取消 删除