python使用协程解决内存瓶颈问题

前言

本来程序跑得好好的，突然快到结尾时程序被强制关闭，报错 zsh: killed  xxx/bin/python

后面经查找发现是因为内存耗尽，程序强制被关闭，追其溯源，发现使用了类似这样的代码：

从一个文件夹下读取全部文件数据作为list返回，由于list太大导致内存不足

能不能通过分块或者惰性加载的思想来迭代nc_datas从而解决内存瓶颈问题？

答案是可以的

协程模型

python中的协程采用了generator实现，而generator就类似惰性加载的思想，你调用它一次它才计算一次。比如 x * x 就是generator，它代表了一个理论上无限长的 list 集合，但实际上占用的内存只有当前的值，这也与Java中的Stream是类似的

由于前面内存耗尽、程序强制被关闭时，读数据占了大概10G的内存，因此我想分3～4次读取，这样每次只会消耗2～3G的内存，不会出现内存瓶颈问题

下面给出一个协程简化模型

# 判断当前下标c在第几个段
def check(c,red_lines):
    for i,red_v in enumerate(red_lin