新场景 + 新应用，Flink 在机器学习领域的生产落地

人工智能与机器学习被称为未来十大科技之一。随着全球移动互联网和物联网的发展，机器学习和 AI 相关技术的应用范围越来越广，而这背后都离不开数据与算力的强大支撑。企业如何借助 Apache Flink 强大算力为机器学习应用赋能？业界有哪些 Flink 机器学习的落地实践？

12月13日-15日，Flink Forward Asia 2020 机器学习专场，聚焦 Apache Flink 在机器学习领域的新技术、新场景、新应用。大会邀请了来自微博、小米、bilibili、阿里巴巴、英特尔等多位一线技术专家，分享 Flink 机器学习的具体应用实践与实战案例。

▼ 扫码了解完整大会议程 ▼

（大会官网）

Alink 在微博机器学习平台中的实践

高霖 | 新浪微博资深算法工程师

 

1. 微博机器学习平台介绍

2. Alink 在微博的应用场景

3. Alink 在微博机器学习平台中的实践经验和改进

 

Flink 在小米广告业务中的实践

王曦伟 | 小米在线广告业务特征平台、实时化平台负责人

 

本次分享主要向大家介绍小米广告算法实时化体系的基本设计，以及 Flink 在这一体系上的应用场景和实践经验。

 

Apache Flink 在 bilibili 的多元化探索与实践

郑志升 | bilibili 大数据实时平台负责人

 

bilibili 实时体系从17年底雏形开始的实时传输架构（基于 Flume）和实时计算架构（Spark Streaming），逐渐演进至目前基于 Flink 构建而起的一整套完善的实时平台。历经3年的技术沉淀，传输平台随着体量逼近万亿规模，出现了很多基于 Flume 无法很好根治的痛点，例如导入数据无法满足准实时查询要求，以及不同数据流传输链路中的隔离要求，而基于 Flink 的流式分发架构很好地解决这些问题。

而计算平台则针对早期过高的个性化定制编程模式提供了一套通用的 BSQL 方案，广泛应用于实时数仓、报表、BI 分析、AI 工程等领域，特别是 AI 方向重点突破解决了流批场景统一的特征计算工程。

本次分享核心讲解万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipeline。更多内容详见本次分享。

1. B站实时的前世与今生

2. 万亿级数据分发架构的落地

3. 模型训练预处理 Pipeline 的实时化

4. 未来的展望与思考

 

Alink 使机器学习应用更简单

杨旭 | 阿里巴巴资深算法专家

 

Alink 是在去年的Flink Forward Asia上宣布开源的。在过去的一年中，Alink仍在快速迭代发展中，推出了2个大版本和4个小版本。

在本次分享中，着重介绍在易用性方面的工作，简化安装过程、解决常见的问题；提升使用体验，在参数检查方面更加智能；支持 Kafka 数据源、Hive 数据源；支持多文件系统；推出 AK 格式读取、导出组件，简化文件数据的操作；支持模型信息摘要、输出等。

 

基于 Flink 的在线机器学习系统架构探讨

秦江杰 | Apache Flink & Kafka PMC Member，阿里巴巴 Flink 生态团队负责人 

陈戊超 | 阿里巴巴技术专家

 

近年来随着机器学习的广泛应用，传统的离线机器学习在包括推荐、搜索、广告等场景下逐渐被实时机器学习的架构所替代，形成了机器学习实时化的趋势，在此过程中 Flink 扮演了越来越重要的作用。本演讲从机器学习工程的角度出发，对以下问题进行探讨：

1. 如何从传统离线机器学习架构迁移到在线离线融合的机器学习架构？

2. Flink 的流批统一，支持 retraction 的机制在实时机器学习架构中有何优势？

3. 如何整合并简化机器学习应用的开发部署。

听众将了解 Flink AI 的发展方向以及如何基于 Flink 搭建一个在线机器学习系统。

 

Cluster Serving: Distributed and Automated Model 

Inference on Big Data Streaming Frameworks

宋佳明 | 英特尔机器学习工程师

 

随着深度学习在生产环境的应用，大规模深度学习、实时分布式推理的需求不断增加，为了满足机器学习 Pipeline 中对极低延迟模型服务的需求，我们开发了集群服务：英特尔 Analytics Zoo 自动分布式服务解决方案。

在本次分享中，我们将介绍 Cluster Serving 如何利用 Flink 的流式 Runtime、低延迟、高吞吐的优势，Cluster Serving 的架构设计和底层设计，以及如何部署和管理分布式深度学习模型，并分享生产环境中使用大数据和统一数据处理的案例。

除此之外，本次分享还将介绍如何使用群集服务轻松集成 Flink 运算符，以及如何在 Flink 新功能“Stateful Function”实现更灵活的服务。

以上为 Flink Forward Asia 2020 在线峰会机器学习专场内容节选，了解更多大会详情及大会预约可点击「阅读原文」。12月13日，全球 38+ 一线厂商，70+ 优质议题，我们在 Flink Forward Asia 在线峰会等你～

---

Flink Forward Asia 2020 赞助与合作

- 赞助商 - 

- 合作伙伴 - 

Flink 中文社区，Flink Forward Asia 官方发布渠道，由 Apache Flink PMC 运营管理，公众号将持续输出 Flink 最新社区动态，入门教程、Meetup 资讯、应用案例以及源码解析等内容，希望联合更多合作伙伴推动国内大数据技术发展。

▼ 关注 Flink 技术社区，获取更多技术干货 ▼ 

戳我，去 Flink Forward Asia 2020！