Flink 在人工智能领域的应用实践

人工智能是未来十年最重要的技术革命与驱动力,在各行各业产生着日益重要的作用,它与大数据的发展相辅相成,不仅推动人类社会迈入更智慧的世界,也为数据的应用带来无可估量的价值。

FFA_

11 月 28 - 30 日,Flink Forward Asia 2019 人工智能专场将聚焦于 Flink 在机器学习上的新技术与新应用,内容包含:

  • Flink 机器学习进度几何?
  • 如何将 Flink 与 TensorFlow 等框架相结合?
  • 有哪些 Flink 在机器学习上的生产实践应用?

为你呈现 Flink 机器学习的具体应用实践与最新技术落地案例。

Deep Learning On Apache Flink

陈龙 | Tencent Engineer

本次演讲将介绍一个新的 Flink 项目 dlonflink。它能够使 Flink 具备运行分布式训练和实时更新模型服务的能力,用户不仅可以使用 Scala 开发,而且可以基于 Python,只需修改几行代码即可在 Flink 上运行 TensorFlow,同时也支持 PyToch 和 MXNet。我们将详细介绍 Java 和 Python 之间数据交换相关的设计以及框架管理的实现。

在 Flink 上使用 Analytics-Zoo 进行大数据分析与深度学习模型推理的架构与实践

史栋杰 | 英特尔资深软件架构师

英特尔资深软件架构师。多年从事企业级计算、风控、大数据分析、云计算容器编排、数据分析与人工智能领域的研发,英特尔开源框架 BigDL 与 Analytics-Zoo 的贡献者之一。主要分享内容如下:

  1. Analytics-Zoo 简介:基于 Apache Spark、Tensorflow、Keras 和 BigDL 的大数据分析+AI 平台。
  2. 将大数据上的深度学习应用部署到生产环境,Flink 流处理场景的支持及使用 OpenVINO 加速。
  3. 一种基于消息订阅和 Flink 流处理的 Cluster Serving 架构。

Apache Flink + TensorFlow,携程实时智能异常检测平台实践

潘国庆 | 携程大数据研发经理

随着近几年的发展,实时计算的技术日趋成熟,实时计算的场景也越来越繁多,Flink 也渐渐成为实时计算引擎的首选之一,从简单的实时 ETL 到复杂的 CEP 场景 Flink 都能够很好的驾驭。

本次分享主要介绍携程如何基于 Flink 与 Tensorflow 构建携程实时智能异常检测平台,用于解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题,实现业务指标毫秒级延迟与智能化检测,依托 Flink 实现了强大的容错机制。

基于 Apache Flink 的机器学习算法平台实践与开源

杨旭 | 阿里巴巴资深算法专家

阿里巴巴计算平台事业部正在与 Flink 社区合作,开源自研的机器学习算法库,基于该算法库,用户可以更方便地构建高性能的 Flink 机器学习作业。我们希望通过开源来促进 Flink 社区在机器学习领域的发展。同时也欢迎更多开发者与我们携手共进,建立更强大、更完整的 Flink 算法库。

本次分享主要围绕团队基于 Flink 研发高性能机器学习算法库过程中的技术积累与收获,以及开源的进展。

Apache Flink AI Ecosystem Effort

陈戊超 | 阿里巴巴技术专家
高赟 | 阿里巴巴技术专家

Flink 是一个分布式计算引擎,支持批流一体的数据处理。在实际生产中的人工智能使用场景中,Flink 在包括特征工程,在线学习,在线预测等方面都有一些独特优势,为了更好的支持人工智能的使用场景,社区以及各个生态厂商都做了一些工作,本演讲将几点介绍近期 Flink 在人工智能生态系统中的工作进展。

  1. Flink ML Pipline: 定义了在 Flink 上运行机器学习工作流程的 API 包括特征工程,模型训练,模型预测等。
  2. Alink:是基于 Flink的机器学习算法库。
  3. Flink ML Workflow:以 Flink 为基础,结合深度学习框架 TensorFlow / PyTorch 为用户提供了串联整个机器学习工作链路中各个阶段的 API,并且同时支持批和流的运行模式。
  4. Streaming-based mini-batch iteration architecture:Flink 在流运行模式下支持迭代的新架构设计。

原文链接

本文为云栖社区原创内容,未经允许不得转载。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
用户画像,作为一种勾画目标用户、联系用户诉求与设计方向的有效工具,用户画像在各领域得到了广泛的应用。用户画像最初是在电商领域得到应用的,在大数据时代背景下,用户信息充斥在网络中,将用户的每个具体信息抽象成标签,利用这些标签将用户形象具体化,从而为用户提供有针对性的服务。还记得年底收到的支付宝年度消费账单吗?帮助客户回顾一年的消费细节,包括消费能力、消费去向、信用额度等等,再根据每位客户的消费习惯,量身定制商品推荐列表……这一活动,将数据这个量化的词以形象生动的表现手法推到了大众面前。这就是用户画像在电商领域的一个应用,随着我国电子商务的高速发展,越来越多的人注意到数据信息对于电商市场的推动作用。基于数据分析的精准营销方式,可以最大限度的挖掘并留住潜在客户,数据统计与分析为电商市场带来的突破不可估量。在大数据时代,一切皆可“量化”,看似普通的小小数字背后,蕴藏着无限商机,也正在被越来越多的企业所洞悉。如何从大数据中挖掘商机?建立用户画像和精准化分析是关键。什么是用户画像呢?用户画像是根据市场研究和数据,创建的理想中客户虚构的表示。创建用户画像,这将有助于理解现实生活中的目标受众。企业创建的人物角色画像,具体到针对他们的目标和需求,并解决他们的问题,同时,这将帮助企业更直观的转化客户。用户画像最重要的一个步骤就是对用户标签化,我们要明确要分析用户的各种维度,才能确定如何对用户进行画像。用户画像建立步骤首先,基础数据收集,电商领域大致分为行为数据、内容偏好数据、交易数据,如浏览量、访问时长、家具偏好、回头率等等。而金融领域又有贷款信息,信用卡,各种征信信息等等。然后,当我们对用户画像所需要的基础数据收集完毕后,需要对这些资料进行分析和工,提炼关键要素,构建可视化模型。对收集到的数据进行行为建模,抽象出用户的标签。电商领域可能是把用户的基本属性、购买能力、行为特征、兴趣爱好、心理特征、社交网络大致的标签化,而金融风控领域则是更关注用户的基本信息,风险信息,财务信息等等。随后,要利用大数据的整体架构对标签化的过程进行开发实现,对数据进行工,将标签管理化。同时将标签计算的结果进行计算。这个过程中需要依靠Hive,Hbase等大数据技术,为了提高数据的实时性,还要用到Flink,Kafka等实时计算技术。最后,也是最关键的一步,要将我们的计算结果,数据,接口等等,形成服务。比如,图表展示,可视化展示。基于Flink+Alink构建全端亿级实时用户画像系统课程,将带领大家一步一步实现一个强大的实时用户画像系统,该系统以热门的互联网电商实际业务应用场景为案例讲解,具体包含:标签管理(支持动态标签扩展,动态标签指标)、用户预测、用户群体画像、用户行为画像、用户中心、几大内容。本课程采用全新的大数据技术栈:Flink+Alink,让你体验到全新技术栈的强大,感受时代变化的气息,通过学习完本课程可以节省你摸索的时间,节省企业成本,提高企业开发效率。本课程包含的技术: 开发工具为:IDEA、WebStorm Flink1.13.0Alink1.5.0 ClickHouseDolphinSchedulerHadoopHbaseKafkaZookeeper SpringBoot2.0.8.RELEASE SpringCloud Finchley.SR2BinlogCanal MySQL MybatisVue.js、Nodejs、ElementUI 课程亮点: 1.与企业接轨、真实工业界产品2.标签化管理模块功能,支持动态标签扩展3.动态标签指标分析和维护4.Alink算法技术框架 5.大数据热门技术Flink新版本 6.主流微服务后端系统 7.数据库实时同步解决方案 8.涵盖主流前端技术VUE+NodeJS+ElementUI 9.集成SpringCloud实现统一整合方案 10.互联网大数据企业热门技术栈 11.支持海量数据的实时画像 12.支持全端实时画像 13.全程代码实操,提供全部代码和资料 14.提供答疑和提供企业技术方案咨询 

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值