- 博客(16)
- 收藏
- 关注
RSS订阅原创 数据吞吐高达 21 亿条！实时计算在贝壳找房的应用实践
摘要：本文由贝壳找房实时计算负责人刘力云分享，主要内容为Apache Flink 在贝壳找房业务中的应用，分为以下三方面：业务规模与演进Hermes 实时计算平台介绍未来发展与规划重要...
2020-01-31 18:00:00
1433
原创 来！PyFlink 作业的多种部署模式
关于 PyFlink 的博客我们曾介绍过 PyFlink 的功能开发，比如，如何使用各种算子(Join/Window/AGG etc.)，如何使用各种 Connector(Kafka, CSV, Socket etc.)，还有一些实际的案例。这些都停留在开发阶段，一旦开发完成，我们就面临激动人心的时刻，那就是将我们精心设计开发的作业进行部署，那么问题来了，你知道怎样部署 PyFlink 的作业吗？...
2020-01-21 11:29:30
2136
1
原创 来！PyFlink 作业的多种部署模式
关于 PyFlink 的博客我们曾介绍过PyFlink 的功能开发，比如，如何使用各种算子(Join/Window/AGG etc.)，如何使用各种 Connector(Kafka, ...
2020-01-20 15:00:00
2653
原创 最新消息！Cloudera 全球发行版正式集成 Apache Flink
翻译 | 邱从贤（山智）摘要：近期 Cloudera Hadoop 大神 Arun 在 Twitter 上宣布 Cloudera Data Platform 正式集成了 Flink 作为...
2020-01-19 18:30:00
1401
转载 萍水相逢 Flink
空气里弥漫着泡面和熬夜的味道，杨木窝在项目室，几乎和周边融为一体。他在这里闭关已经大半年，作为工程师，钻研技术必不可少，而作为年轻人，本该爱玩的他却没觉得技术有多枯燥。和很多人谈技术必言...
2020-01-18 12:50:00
1181
转载 阿里开源 10 年，这封信里也有 Flink 的身影。
导读：年末将至，阿里巴巴开源技术委员会负责人贾扬清写了一封信，想要和热爱开源的你说一声：谢谢。未来，我们希望与更多开源人一起，用技术普惠世界。阿里巴巴开源技术委员会负责人贾扬清当我们回想...
2020-01-15 14:00:00
767
原创 实时计算在贝壳的实践
本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用，通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。**摘要：**Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用，通过企业开发的...
2020-01-14 12:12:26
1981
1
原创 阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？
作者：邱从贤（山智）众所周知 Flink 是当前广泛使用的计算引擎，Flink 使用 checkpoint 机制进行容错处理[1]，Flink 的 checkpoint 会将状态快照备份到分布式存储系统，供后续恢复使用。在 Alibaba 内部我们使用的存储主要是 HDFS，当同一个集群的 Job 到达一定数量后，会对 HDFS 造成非常大的压力，本文将介绍一种大幅度降低 HDFS 压力的方法 ...
2020-01-13 17:59:28
2922
1
原创 基于 Flink 构建 CEP 引擎的挑战和实践
奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击？其中面临的挑战以及宝贵的实践经验有哪些？本文主要内容分为以下四个方面：背景及现状技术架构产品及运维未来发展与思考作者：韩鹏@奇安信背景及现状奇安信集团作为一家网络安全公司，专门为政府、企业，教育、金融等机构和组织提供企业级网络安全技术、产品和服务，奇安信的 NGSOC 产品的核心引擎是一个 ...
2020-01-13 16:24:11
1708
原创 Flink Weekly | 每周社区动态更新 - 20200107
本文为 Flink Weekly 的第三期，由 Tang Yun 整理，主要内容包括：Flink 1.10.0 的发布进展，将 blink planner 设置为 SQL client 默认 planner 的讨论，以及如何支持 SQL client gateway 的 FLIP。作者：唐云（茶干）大家好，2020 年转眼就来了，先恭喜大家新年快乐，Flink 社区也会在新的一年中继续陪伴大家...
2020-01-10 17:45:02
1020
原创 监控指标10K+！携程实时智能检测平台实践
本文将介绍携程实时智能异常检测平台——Prophet。到目前为止，Prophet 基本覆盖了携程所有业务线，监控指标的数量达到 10K+，覆盖了携程所有订单、支付等重要的业务指标。Prophet 将时间序列的数据作为数据输入，以监控平台作为接入对象，以智能告警实现异常的告警功能，并基于 Flink 实时计算引擎来实现异常的实时预警，提供一站式异常检测解决方案。作者：潘国庆@携程###点击查看本...
2020-01-10 17:15:17
1025
原创 美团点评基于 Flink 的实时数仓平台实践
数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中，美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。作者：鲁昊@美团点评###点击查看本场直播>>>更多2019 Flink Forward 大会视频>>>一、美团点...
2020-01-10 17:09:32
1027
原创 小米流式平台架构演进与实践
作者：夏军@小米小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条，实时同步任务 1.5 万，实时计算的数据 1 万亿条。伴随着小米业务的发展，流式平台也经历三次大升级改造，满足了众多业务的各种需求。最新的一次迭代基于 Apache Flink，对...
2020-01-10 17:06:16
1019
原创 基于 Flink 构建 CEP 引擎的挑战和实践
摘要：奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击？其中面临的挑战以及宝贵的实践经验有哪些？本文主要内容分为以下四个方面：背景及现状技术架构产...
2020-01-09 20:30:00
1994
原创 小米流式平台架构演进与实践
摘要：小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达...
2020-01-07 15:00:00
1369
原创 美团点评基于 Flink 的实时数仓平台实践
摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中，美团点评高级技术专家鲁昊为大家分享...
2020-01-02 18:00:00
3530
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人