dask 并行读取csv
![Dask dataframe](https://i-blog.csdnimg.cn/blog_migrate/f277b69a4f05aa02f3bdd7da2d96d888.png)
在最近的一篇标题为“使用Python处理大型CSV文件”的文章中 ,我分享了一种方法,当我有非常大的CSV文件(和其他文件类型)太大而无法加载到内存中时,可以使用该方法。 尽管我之前强调的方法效果很好,但首先将数据加载到sqllite(或任何其他数据库)中,然后访问该数据库以分析数据可能很繁琐。 我只是发现使用Dask更好的方法。
While looking around the web to learn about some parallel processing capabilities, I ran across a python module named Dask, which describes itself as:
在网上浏览以了解一些并行处理功能时,我遇到了一个名为Dask的python模块 ,该模块将自己描述为:
…is a flexible parallel computing library for analytic computing.
…是用于分析计算的灵活并行计算库。
When I saw that, I was intrigued. There’s a lot that can be done with that statement and I’ve got plans to introduce Dask into my various tool sets for data analytics.
当我看到那件事时,我很感兴趣。 该语句可以完成很多工作,而且我已经计划将Dask引入我的各种数据分析工具集中。
While reading the docs, I ran across the ‘