vaex库使用方法python_Python秒开100G数据是怎么办到的？

Python秒开100G数据是怎么办到的？

在这个数据爆炸的时代，我们通常要对海量的数据进行分析，少则几十G，多则上百G，对于这样的数据我们打开都很困难，又该如何分析呢？通常都会采取下面几个方案：

对数据抽样；

使用分布式计算；

使用强大的服务器。

本文让我们来了解一个低成本又速度快的方法，使用一个强大的Python库-vaex来实现海量数据的读取和操作。

Vaex是一个开源的DataFrame库，它可以对表格数据集进行可视化、探索、分析，甚至机器学习，这些数据集和你的硬盘驱动器一样大。它可以在一个n维网格上每秒计算超过10亿(10^9)个对象的平均值、和、计数、标准差等统计信息。可视化使用直方图、使用直方图、密度图和3D立体渲染进行可视化。为此，Vaex采用了内存映射、高效的外核算法和延迟计算等概念来获得最佳性能(不浪费内存)。所有这些都封装在一个类似Pandas的API中。

安装vaex

vaex的安装方式和其他的库没有什么不同，我们直接pip安装即可，安装的时候会一并安装很多关联的库，所以推荐使用国内的镜像进行安装。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple vaex

使用vaex

在使用之前我们先来看一下官方给出的读取100G数据时的效率。

根据上图可以看到打开了一个107G的数据用了52毫秒，下面让我们用一个小一些的样本来检验一下。

把CSV数据转换成hdf5

在vaex中提供了把csv数据转换成hdf5(内存可映射文件格式)数据的方式，内存可映射格式后，即使在磁盘上的大小超过100GB，也可以使用Vaex即时打开。

df = vaex.open('Data_Action_201602.csv')

df.export_hdf5('Data_Action_201602.hdf5')

先来看一下我要使用的数据大小：

!ls -l -h Data_Action_201602.hdf5

-rw-r--r-- 1 seven staff 778M 7 16 14:31 Data_Action_201602.hdf5

使用vaex

从上面的信息可以看到，数据的大小有778M，我们如果用pandas打开该数据的话估计也需要很久的时间，下面让我们来尝试一下使用vaex。

博主电脑配置：2018MacPro+六核Intel Core i7+16G RAM。

%%time

df = vaex.open('Data_Action_201602.hdf5')

CPU times: user 5.06 ms, sys: 1.54 ms, total: 6.6 ms

Wall time: 15.7 ms

可以看到，我们耗时15.7毫秒，在一瞬间就完成了打开文件的操作，下面再进行一个快速检查数据的操作：

%%time

df

根据结果可以看出，阅览数据的时候仅仅用了4微秒，这有多快我就不必多说了吧～

再让我们使用describe方法获得 DataFrame 的高级概览来看一下。

%%time

df.describe()

可以看到1000万条的数据的计算时间还不到1秒，的确是快到飞起。

vaex的简便操作

光从简单的数据操作上还不足以让我们想要使用vaex，下面来简单介绍几种之前让我们头疼的想法，看一下vaex是怎么实现的。

在使用pandas的时候，我们很难直接对两列中所有的数据进行运算操作，但是vaex重新封装了这些操作，使得这种运算是完全可行的：

df['new_data'] = (df.type + df.cate)*100

df.new_data.values

array([ 900, 1400, 900, ..., 1400, 1400, 1400])

筛选数据：

df.select(df.new_data<1000)

df.evaluate(df.new_data, selection=True)

array([900, 900, 600, ..., 800, 800, 500])

统计学计算：

df.count(), df.mean(df.new_data), df.mean(df.new_data, selection=True)

(array(11485424), array(1027.95480602), array(701.08164584))

除了这些，vaex还提供了很多简单的函数功能，同时该数据也可以直接用于图表的绘制，具体可以参考文末给出的操作文档。

为什么要选择vaex

看完了vaex的一些简单操作，下面再来看一下为什么要选择vaex：

性能：处理海量表格数据，每秒处理超过十亿行

虚拟列：动态计算，不浪费内存

高效的内存在执行过滤/选择/子集时没有内存副本。

可视化：直接支持，单线通常就足够了。

用户友好的API：只需处理一个数据集对象，制表符补全和docstring可以帮助你：ds.mean，类似于Pandas。

精益：分成多个包

Jupyter集成：vaex-jupyter将在Jupyter笔记本和Jupyter实验室中提供交互式可视化和选择。

vaex的相关网站

Vaex 官方网站：https://vaex.io/

文档：https：//docs.vaex.io/

GitHub：https : //github.com/vaexio/vaex

PyPi：https：//pypi.python.org/pypi/vaex/