dask 并行读取csv_Dask –使用Python处理大型CSV文件的更好方法

dask 并行读取csv

In a recent post titled

Working with Large CSV files in Python, I shared an approach I use when I have very large CSV files (and other file types) that are too large to load into memory. While the approach I previously highlighted works well, it can be tedious to first load data into sqllite (or any other database) and then access that database to analyze data.   I just found a better approach using Dask.

在最近的一篇标题为“使用Python处理大型CSV文件”的文章中 ，我分享了一种方法，当我有非常大的CSV文件（和其他文件类型）太大而无法加载到内存中时，可以使用该方法。 尽管我之前强调的方法效果很好，但首先将数据加载到sqllite（或任何其他数据库）中，然后访问该数据库以分析数据可能很繁琐。 我只是发现使用Dask更好的方法。

While looking around the web to learn about some parallel processing capabilities, I ran across a python module named Dask, which describes itself as:

在网上浏览以了解一些并行处理功能时，我遇到了一个名为Dask的python模块 ，该模块将自己描述为：

…is a flexible parallel computing library for analytic computing.

…是用于分析计算的灵活并行计算库。

When I saw that, I was intrigued. There’s a lot that can be done with that statement  and I’ve got plans to introduce Dask into my various tool sets for data analytics.

当我看到那件事时，我很感兴趣。 该语句可以完成很多工作，而且我已经计划将Dask引入我的各种数据分析工具集中。

While reading the docs, I ran across the ‘