基于 Spark 和 TensorFlow 的机器学习实践

本场视频链接：https://developer.aliyun.com/live/1547?spm=a2c6h.12873581.0.0.71671566iIzpz5&groupCode=apachespark

本场PPT资料：https://www.slidestalk.com/AliSpark/201960935

---

EMR E-Learning平台

EMR E-Learning平台基于的是大数据和AI技术，通过算法基于历史数据来构建机器学习模型，从而进行训练与预测。目前机器学习被广泛应用到很多领域，如人脸识别、自然语言处理、推荐系统、计算机视觉等。近年来，大数据以及计算能力的提升，使得AI技术有了突飞猛进的发展。

机器学习中重要的三要素是算法、数据和算力。而EMR本身是一个大数据平台，平台之上拥有多种数据，比如传统的数据仓库数据、图像数据；EMR有很强的调度能力，可以很好地吊调度GPU和CPU资源；其结合机器学习算法，就可以成为一个比较好的AI平台。

典型的AI开发流程如下图所示：首先是数据收集，手机、路由器或者日志数据进入大数据框架Data Lake；然后是数据处理，收集到的数据需要通过传统的大数据ETL或特征工程进行处理；其次是模型训练，经过特征工程或ETL处理后的数据会进行模型的训练；最后对训练模型进行评估和部署；模型预测的结果会再输入到大数据平台进行处理分析，整个过程循环往复。

下图展示了AI开发的流程，左侧是单机或者集群，主要进行AI训练和评估，包含数据存储；右侧是大数据存储，主要进行大数据处理，如特征工程等，同时可以利用左侧传输的机器学习模型进行预测。
AI开发的现状主要有以下两点：
• 两套集群运维复杂：从图中可以看出，AI开发涉及的两套集群是分离的，需要单独维护，运维成本复杂，容易