Python处理大数据3个技巧效率提升攻略

如果你有个5、6 G 大小的文件，想把文件内容读出来做一些处理然后存到另外的文件去，你会使用什么进行处理呢？不用在线等，给几个错误示范：有人用multiprocessing 处理，但是效率非常低。于是，有人用python处理大文件还是会存在效率上的问题。因为效率只是和预期的时间有关，不会报错，报错代表程序本身出现问题了~

Python处理大数据的劣势：

1、python线程有gil，通俗说就是多线程的时候只能在一个核上跑，浪费了多核服务器

2、python执行效率不高，在处理大数据的时候，效率不高

3、绝大部分的大公司，用java处理大数据不管是环境也好，积累也好，都会好很多

Python处理数据的优势（不是处理大数据）：

1、异常快捷的开发速度，代码量巨少

2、丰富的数据处理包，不管正则也好，html解析啦，xml解析啦，用起来非常方便

3、内部类型使用成本巨低，不需要额外怎么操作（java，c++用个map都很费劲）

4、公司中，很大量的数据处理工作工作是不需要面对非常大的数据的

5、巨大的数据不是语言所能解决的，需要处理数据的框架（hadoop， mpi。。。。）虽然小众，但是python还是有处理大数据的框架的，或者一些框架也支持python

6、编码问题处理起来太太太方便了

结论：

1、python可以处理大数据

2、python处理大数据不一定是最优的选择

3. python和其他语言&#