Python快速读取超大文件

方法一：
测试文件共6862646行，79.3M大小，耗时6.7秒。
缺点：每一行数据内容不能大于内存大小(一般不会)，否则就会造成MemoryError。

import time

print("开始处理...")
start = time.time()
file = r'e:\Python\mypy\搜狗词库\sogou_jianhua_new.txt'
with open(file, 'rb') as f:								#rb方式最快
	for line in f:
		li = line.strip()
		lin = str(li).lstrip("b")
end = time.time()
shi = end - start
print("已完成！总耗时%s秒！" % shi)

方法二：
使用yield：简单理解，yield就是return，返回一个值，并记住返回的位置，下次迭代就从这个位置后(下一行)开始。
正常情况使用上面的方式就可以了，但是，如果遇到整个文件只有一行，
而且按照特定的字符进行分割，上面的方式则不行了，这时候yield就非常有用了。
举个例子，log的形式是以{|}做为分割符的：
2018-06-18 16:12:08,289 - main - DEBUG - Do something{|}……
优点：不再限制每行数据的大小，即使整个大文件只有一行。
缺点：速度比上面的方式要慢。

def read_line(fil