「直播回顾」Mars应用与最佳实践

简介： 本文首先对Mars的概念、功能、优势进行了介绍，随后，对Mars几个典型的应用场景进行介绍，并通过两个Demo展示了在使用Mars后数据科学性能的提升，最后总结了Mars的最佳实践，让使用Mars更高效便捷。
本文主要从以下几个方面展开：

Mars简介
典型场景
Demo
最佳实践
一、Mars简介
Mars是统一的数据科学平台，它用来加速传统的Python数据科学技术栈，在单机中也可以用多核加速，或用分布式来加速。Mars可以部署在单机的分布式集群，或者Kubernetes和Hadoop Yarn上。

Mars整个框架构建在单机的并行和分布式的这两个调度的基础之上，它的数据科学基础包括三个核心部分，Tensor、DataFrame和Remote。而构建在这个基础之上的，是Mars Learn模块，它可以兼容Scikit-learn API，能简单地进行更大数据规模的分布式处理。此外，Mars还支持深度学习和机器学习的框架，比如能轻松运行TensorFlow、PyTorch等，而且可视化也可以在Mars上完成。除此之外，Mars还支持了丰富的数据源。

image.png

从传统Python技术栈到Mars也非常简单，比如在NumPy和Pandas里要变成Mars，只需要替换import，然后后面变为延迟执行即可。

image.png

普通的Python函数，在调用的时候变成mr.spawn来延迟这个过程，最后通过execute来并发执行，不用担心Mars是运行在单机上还是分布式运行。

image.png

而Mars上的TensorFlow大部分也一样，区别在于main函数部分的变化。最