你不知道的Python大数据分析神器

对于 Pandas 运行速度的提升方法，之前已经介绍过很多回了，里面经常提及 Dask ，很多朋友没接触过可能不太了解，今天就推荐一下这个神器。

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤
QQ群：1057034340

1、什么是Dask？

Pandas 和 Numpy 大家都不陌生了，代码运行后数据都加载到RAM中，如果数据集特别大，我们就会看到内存飙升。但有时要处理的数据并不适合 RAM ，这时候 Dask 来了。

Dask 是开源免费的。它是与其他社区项目（如Numpy，Pandas和Scikit-Learn）协调开发的。

很多人学习python，不知道从何学起。

很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。

很多已经做案例的人，却不知道如何去学习更加高深的知识。

那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤

QQ群：1057034340

Dask 支持 Pandas 的 DataFrame 和 NumpyArray 的数据结构，并且既可在本地计算机上运行，也可以扩展到在集群上运行。

基本上，只要编写一次代码，使用普通的 Pythonic 语法，就可在本地运行或部署到多节点集群上。这本身就是一个很牛逼的功能了，但这还不是最牛逼的。

我觉得 Dask 的最牛逼的功能是： 它兼容大部分我们已经在用的工具，并且只需改动少量的代码，就可以利用自己笔记本电脑上已有的处理能力并行运行代码。而并行处理数据就意味着更少的执行时间，更少的等待时间和更多的分析时间。

下面这个就是 Dask 进行数据处理的大致流程。

2、Dask支持哪些现有工具？

这一点也是我比较看中的，因为 Dask 可以与 Python 数据处理和建模的库包兼容，沿用库包的API，这对于Python使用者来说学习成本是极低的。而像 Hadoop 、 Spark 这种大数据处理是有很高的学习门槛和时间成本的。

目前， Dask 可支持 pandas 、 Numpy 、 Sklearn 、 XGBoost 、 XArray 、 RAPIDS 等等，光是这几项我觉得就足够用了，至少对于常用的数据处理、建模分析是完全覆盖得掉的。

3、Dask安装

可以使用 conda 或者 pip ，或从源代码安装 dask 。

conda install dask

因为 dask 有很多依赖，所以为了快速安装也可用下面代码，将安装运行 Dask 所需的最少依赖关系集。

conda install dask-core

再有就是通过源来安装。

git clone https://github.com/dask/dask.git
cd dask
python -m pip install .

4、Dask如何使用？

Numpy、pandas

Dask 引入了3个并行集合，它们可以存储大于RAM的数据，这些集合有 DataFrame 、 Bags、 Arrays 。这些集合类型中的每一个都能够使用在RAM和硬盘之间分区的数据，以及分布在群集中多个节点上的数据。

Dask 的使用是非常清晰的，如果你使用 NumPy 数组，就从 Dask 数组开始，如果你使用 Pandas DataFrame ，就从 Dask DataFrame 开始，依此类推。

这些高级接口在略微变化的情况下复制了标准接口。对于原始项目中的大部分API，这些接口会自动为我们并行处理较大的数据集，实现上不是很复杂，对照 Dask 的doc文档即可一步步完成。

Delayed

下面说一下 Dask 的 Delay 功能，非常强大。

Dask.delayed 是一种并行化现有代码的简单而强大的方法。之所以被叫做 delayed 是因为，它没有立即计算出结果，而是将要作为任务计算的结果记录在一个图形中，稍后将在并行硬件上运行。

有时问题用已有的 dask.array 或 dask.dataframe 可能都不适合，在这些情况下，我们可以使用更简单的 dask.delayed 界面并行化自定义算法。例如下面这个例子。

上面代码在单个线程中按顺序运行。但是，我们看到其中很多可以并行执行。 Dask delayed函数可修饰 inc 、 double 这些函数，以便它们可延迟运行，而不是立即执行函数，它将函数及其参数放入计算任务图中。

我们简单修改代码，用 delayed 函数包装一下。

上图明显看到了并行的可能性，所以毫不犹豫，使用 compute 进行并行计算，这时才完成了计算。

>>> total.compute()
45

由于数据集较小无法比较时间，这里只介绍下使用方法，具体可自己动手实践下。

Sklearn机器学习

关于机器学习的并行化执行，由于内容较多，东哥会在另一篇文章展开。这里简单说下一下 dask-learn 。

dask-learn 项目是与 Sklearn 开发人员协作完成的。现在可实现并行化有 Scikit-learn 的 Pipeline 、 GridsearchCV 和 RandomSearchCV 以及这些的变体，它们可以更好地处理嵌套的并行操作。

因此，如果你将 sklearn 替换为 dklearn ，那么速度将会提升很多。

estimator.fit(X, y)

结果是： sklearn 会在40秒钟左右执行此计算，而 dask-learn 替代品大约需要10秒钟。

另外，如果添加以下代码可以连接到集群，通过 Client 可以展示整个计算过程的 dashboard，由 Bokeh 实现。

from dask.distributed import Client
c = Client('scheduler-address:8786')

5、总结

以上就是 Dask 的简单介绍，Dask的功能是非常强大的，且说明文档也非常全，既有示例又有解释。感兴趣的朋友可以自行去官网或者 GitHub 学习，东哥下次分享使用 Dask 进行机器学习的一些实例。