Python处理千万级数据

从别人的论文里找到要用的数据的原始数据自己做过滤

捣鼓了两天觉得代码太慢开始用pandas做处理

不得不说最大的感触就是 pandas 以及numpy在一定程度上在还原MATLAB

比如MATLAB中利用逻辑值取数、元素的用法，pandas中有几乎一样的方法

test:

同时pandas中有很多很好用的方法，猜测使用了很多哈希值

但是pandas同numpy一样，增量添加很慢

也就是pandas适用于 已经确定size的数据的读取操作非常友好，但是把两个dataframe合并，是很慢的操作

实际上先做了数据的拷贝再进行的拼接，可想而知是多慢了

而Python里的list是一个动态数组，比较适合用于动态增长的情况，比如append，+，extends这样的方法

总之记住只对dataframe进行读取就够啦

 

最后写代码的时候 对于for循环要小心！！！

想清楚这个代码是不是在循环里面还是外面！！

把要在循环外面的代码先写着！！

比如这次把生成dataframe的两行代码写了for循环里面

查了好几遍才发现！！ 真的很费时间！！

 

时间的宝贵使人进步。

加油。