方法一:
测试文件共6862646行,79.3M大小,耗时6.7秒。
缺点:每一行数据内容不能大于内存大小(一般不会),否则就会造成MemoryError。
import time
print("开始处理...")
start = time.time()
file = r'e:\Python\mypy\搜狗词库\sogou_jianhua_new.txt'
with open(file, 'rb') as f: #rb方式最快
for line in f:
li = line.strip()
lin = str(li).lstrip("b")
end = time.time()
shi = end - start
print("已完成!总耗时%s秒!" % shi)
方法二:
使用yield:简单理解,yield就是return,返回一个值,并记住返回的位置,下次迭代就从这个位置后(下一行)开始。
正常情况使用上面的方式就可以了,但是,如果遇到整个文件只有一行,
而且按照特定的字符进行分割,上面的方式则不行了,这时候yield就非常有用了。
举个例子,log的形式是以{|}做为分割符的:
2018-06-18 16:12:08,289 - main - DEBUG - Do something{|}……
优点:不再限制每行数据的大小,即使整个大文件只有一行。
缺点:速度比上面的方式要慢。
def read_line(fil