python能处理多大的数据-Python 适合大数据量的处理吗？

python 能处理数据库中百万行级的数据吗？

处理大规模数据时有那些常用的python库，他们有什么优缺点？适用范围如何？

王守崑，推荐系统，数据挖掘

需要澄清两点之后才可以比较全面的看这个问题：

1. 百万行级不算大数据量，以目前的互联网应用来看，大数据量的起点是10亿条以上。

2. 处理的具体含义，如果是数据载入和分发，用python是很高效的；如果是求一些常用的统计量和求一些基本算法的结果，python也有现成的高效的库，C实现的和并行化的；如果是纯粹自己写的算法，没有任何其他可借鉴的，什么库也用不上，用纯python写是自讨苦吃。

python的优势不在于运行效率，而在于开发效率和高可维护性。针对特定的问题挑选合适的工具，本身也是一项技术能力。

我们公司每天处理数以P记的数据，有个并行grep的平台就是python做的。当初大概是考虑快速成型而不是极限速度，但是事实证明现在也跑得杠杠的。大数据很多时候并不考虑太多每个节点上的极限速度，当然速度是越快越好，但是再更高层次做优化（比如利用data locality减少传输，建索引快速join，做sample优化partition，用bloomfilter快速测试等等），把python换成C并不能很大程度上提升效率。

这要看具体的应用场景，从本质上来说，我们把问题分解为两个方面：

1、CPU密集型操作

即我们要计算的大数据，大部分时间都在做一些数据计算，比如求逆矩阵、向量相似度、在内存中分词等等，这种情况对语言的高效性非常依赖，Python做