用R&Python在云端运行可扩展数据科学

最新推荐文章于 2022-07-20 23:33:03 发布

AI周红伟

最新推荐文章于 2022-07-20 23:33:03 发布

阅读量790

点赞数

分类专栏：大数据文章标签：深度学习

大数据专栏收录该内容

651 篇文章 8 订阅

订阅专栏

用R&Python在云端运行可扩展数据科学

发表于 2015-10-14 08:10| 2514次阅读| 来源 Analytics Vidhya| 1 条评论| 作者 Kunal Jain

大数据云计算机器学习云服务 Python R

width="22" height="16" src="http://hits.sinajs.cn/A1/weiboshare.html?url=http%3A%2F%2Fwww.csdn.net%2Farticle%2F2015-10-10%2F2825875&type=3&count=&appkey=&title=%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E5%8F%98%E5%BE%97%E8%B6%8A%E6%9D%A5%E8%B6%8A%E5%A4%8D%E6%9D%82%EF%BC%8C%E4%BA%91%E8%AE%A1%E7%AE%97%E8%83%BD%E5%90%A6%E5%B8%A6%E6%9D%A5%E7%AE%80%E6%B4%81%E7%9A%84%E6%96%B9%E5%BC%8F%EF%BC%9F%E6%9C%AC%E6%96%87%E8%A7%A3%E6%9E%90%E4%BA%86%E5%B0%86%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E5%B7%A5%E4%BD%9C%E8%B4%9F%E8%BD%BD%E6%94%BE%E5%9C%A8%E4%BA%91%E7%AB%AF%E7%9A%84%E4%BC%98%E5%8A%BF%E5%92%8C%E5%8A%A3%E5%8A%BF%EF%BC%8C%E5%B9%B6%E5%AF%B9%E5%88%A9%E7%94%A8R%26Python%E5%9C%A8%E4%BA%91%E7%AB%AF%E8%BF%90%E8%A1%8C%E5%8F%AF%E6%89%A9%E5%B1%95%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E7%9A%84%E4%B8%8D%E5%90%8C%E9%80%89%E9%A1%B9%E8%BF%9B%E8%A1%8C%E6%A6%82%E8%A6%81%E5%88%86%E6%9E%90%E3%80%82&pic=&ralateUid=&language=zh_cn&rnd=1445120447652" frameborder="0" scrolling="no" allowtransparency="true"> 摘要：数据科学变得越来越复杂，云计算能否带来简洁的方式？本文解析了将数据科学工作负载放在云端的优势和劣势，并对利用R&Python在云端运行可扩展数据科学的不同选项进行概要分析。

前言

如今，数据科学变得越来越复杂。这种复杂性由下面三个因素导致：

增长的数据生产能力 —— 环视四周，数的出多少个能产生数据的设备呢？如果你用笔记本电脑来浏览本文的话算一个，如果身边有智能手机（以及安装的APPs）的话再加一个，如果带了健身手环的话还要加一个，驾驶的汽车（有些情况下）也算一个 —— 它们都在持续不断地生产数据。现在设想今后几年内的情景，你所使用的冰箱、家里的温度调节器、穿戴的衣物、兜内的钢笔以及喝水的水壶都会嵌入传感器，不断向数据科学家（和数据库）传输数据用来分析。
低廉的数据存储成本 —— 我们来做个猜测。猜一猜，把自古以来全球所有的音乐存储起来需要花费多少钱呢？你的答案是什么？我的估计是总花费远不到1000美元。
廉价的计算能力 —— 看一下最近发布的一款笔记本电脑性能配置清单。一个拥有64GB RAM的Xeon处理器加上Quadro的GPU。这台机器预计售价不到2000美元，重量约为2.5kg。还需要我多说什么吗？

总之，我们正在源源不断地生产数据（当你阅读本文时，你也将成为一个数据样本），我们能以极低的成本存储这些数据，并且对它们做计算和仿真处理。

为什么在云端进行数据科学？

那我们为什么要把数据放在云端处理呢？当你看到一台笔记本电脑就配备64GB RAM时，不禁会问我们真的需要把数据送到云端吗？答案绝对是需要的，我们能找出一大堆理由来。下面就列出几条：

需要运行可扩展的数据科学：让我们回到几年前。在2010年，我进入一家跨国保险公司组建数据科学部门。其中的一项工作就是采购了一台16GB RAM的服务器。由于是新组建部门，我们按照超前3~5年的标准采购。当初类似星形的组合结构，随着我们的雇员增加而无法扩展。不仅因为组内成员增长，数据量也呈指数级增长。由于只有一台实体机，我们陷入了困境！我们要不购买一台新的、性能更强的服务器，要不让现有这台满负荷运转（很快就将会过载）。你最不愿意看到的事情就是组里的数据科学家盯着屏幕等待未处理完的数据！而云端的机器只需轻击鼠标就能轻易扩展，省去了很多烦心事。因此即使数据量增长几倍，现在的脚本和模型依旧能够正常运行。

成本：可扩展性是一方面，成本也是一方面。假设你有一个问题需要解决，问题不常现，但是需要更高配的计算基础框架。这类情况很常见 —— 若想挖掘自己赞助的某次年度事件的社会媒体数据，但想实时查看结果。受制于成本，不可能为此而买一台新机器。很简单，这时只要租一台高配置的机器，租用几个小时或者几天就能解决问题，成本是新购机器的零头。

协作： 当想和多位数据科学家同时工作时该如何是好？想必你不愿意他们每个人都在本地机器上复制一份数据和代码吧。

共享：当想和组员共享Python/R代码时会怎么办？你所使用的函数库可能在他那儿没有，或是版本太低。如何确保代码在不同机器间可迁移呢？

更大的机器学习系统开发生态系统：像AWS、Azure等一些云服务商，提供完整的生态系统帮你采集数据、生成模型并部署。如果使用实体机，都需要自己设置这些配置。

快速搭建原型：很多时候，你在路上或是和朋友交流时蹦出了新想法。这些情况下，使用云计算服务就会很便捷。能快速地完成原型开发，而不必担心版本和扩展性。在证实了自己的想法之后，也能方便地转化为产品。

在这里有更多关于云计算部件的内容。

现在你明白了数据科学的云计算的需求了吧。我们接着看看在云端执行R和Python的不同选择。

在云端做数据科学的选择：

Amazon Web Services （AWS）

Amazon是云计算界的老大。它们占据最大的市场份额，有完整的文档，提供便捷的环境支持快速扩展。这篇文章教你如何在机器上运行 R或者RStudio。如果云端的机器是Linux系统，那么Python是预装的。也可以自己安装额外需要的库函数和模块。

你可以使用 AWS machine learning，自己配置一台机器，甚至直接使用 DataScienceToolbox，它提供工具箱之外用到的所有软件。平台不仅仅是提供服务，还提供一些大规模数据集供你玩转大数据。

因为AWS是最流行的选择，它形成了完善的生态系统，并且（相对其它而言）更容易找到包含正确经验的各种资源。然而，Amazon相比其它家服务的价格通常更贵一些，甚至不提供某些服务。另外，由于某些原因机器学习的服务不对亚太地区开放。因此，如果你恰好位于这些地区，则需要选择北美的服务器，或者在云端自己配置一台虚拟机。

Azure Machine Learning

如果AWS是冠军的话，Azure就是冠军挑战者。Microsoft明确地加大力度提供一个执行端对端数据科学和机器学习流程的接口。你可以使用他们的 studio来搭建机器学习工作流程，在云端使用JuPyTer notebooks，或者直接使用ML APIs。

Microsoft已经在虚拟学院提供了免费的电子文档和MOOC帮你入门。

IBM BlueMix：

如果说Amazon和Microsoft是在云计算领域有机地发展，那么IBM的思路略有不同。IBM开发了BlueMix平台，随后急速开始营销其服务产品。尽管提供方式不如AWS和Azure直接，但还是能在云端提供设置记事本而使用。

数据科学社区如何使用Watson提供的APIs也将会很有意思。

Sense.io:

如果觉得我之前写的那些都太复杂了，那就有必要了解一下Sense。Sense项目可以只点击一个按钮完成部署。他们提供的服务基于R、Python、Spark、Julia和Impala，成员之间灵活地合作和共享分析结果。观看这段视频初步了解这款产品：https://www.youtube.com/embed/n3RwCr9l4G8

Demino DataLabs

Domino位于旧金山，它提供一个安全的云计算环境，支持R、Python、Julia和Matlab等开发语言。平台提供版本控制功能和特色，使得组内合作和共享变得无比容易。