Python-多个生产者消费者-读写文件

0.前言

从文件中读取内容，分析获得想要的数据，拼接URL发起请求，获取响应数据并保存。
读写文件较快，但是网络请求速度比较慢，但是代码是串联执行的，耦合性较高，为了加快进度，采用生产者[读文件]–队列–消费者（同时是另一个队列的生产者）[网络请求]–队列2–消费者[写文件]模式去获取保存数据。

1.读文件，将想要的数据put到队列

from multiprocessing import JoinableQueue, Process
import time

# 可将for循环改成自己代码要读的文件
def producer(q, name):
    for i in range(200000):
        info = name + ' ' + str(i)
        with open('info.txt', 'a')as f:
            f.write(info+'\n')
            f.flush()
        q.put(info)

2.从对列中取数据并操作，将得到的数据put到新队列

def consumer(q, q_file):
    while True:
        line = q.get()
        if line:
            file_content = 'hello ni hao ' + line + '\n'
            q_file.put(file_content)
        else:
            break
        q.task_done()

3.将数据从对列中取出，保存到文件

有在消费者里面直接写入保存文件，但是有导致部分数据丢失，丢失一行数据或者丢失一行中的一部分数据，没有找到可以解决的办法，尝试重新弄一个队列，看行不行，最后证明可以。有同学有其他办法也阔以在评论里分享哈^_^

def deal_file(q_file):
    while True:
        info = q_file.get()
        if info:
            with open('hello.txt', 'a')as f:
                f.write(info)
                f.flush()  # 多进程写文件注意缓存刷新
        else:
            print(info)
            break
        q_file.task_done()

4.创建进程，执行代码

if __name__ == '__main__':
    t = time.time()
    q = JoinableQueue(10)
    q_file = JoinableQueue(50)
    p_pro = Process(target=producer, args=(q, u'producer'))
    p_con = Process(target=consumer, args=(q, q_file))
    p_con2 = Process(target=consumer, args=(q, q_file))
    p_con3 = Process(target=consumer, args=(q, q_file))
    p_con4 = Process(target=deal_file, args=(q_file,))
    p_pro.start()
    p_con.start()
    p_con2.start()
    p_con3.start()
    p_con4.start()
    
    p_pro.join()
    q.join()
    # 有尝试在这里做消费者的join等待，因为有q_file队列的put，但是好像是造成了等待死锁，取消掉也没有出现问题
    # p_con.join()
    # p_con2.join()
    # p_con3.join()
    q_file.join()
   

    q.put(None)
    q.put(None)
    q.put(None)
    q_file.put(None)
    
    print(time.time() - t)

注意点：

1.flush()

重点,在多进程中写文件需要尽快刷新,否则可能会导致数据丢失

https://www.cnblogs.com/mahailuo/p/11460739.html

2.q.put(None)

表示对列已经为空，结束进程，有几个消费者进程就应该put几个None，否则一个消费者已经获取了None，但是其他消费者在等待，会造成死锁，程序不能结束

https://www.cnblogs.com/mike-liu/p/9279313.html

3.q.join()

对列q.join()，等消费者把对列的数据取空之后（所有的消费者执行了q.task_done()），join等待才会结束

https://www.cnblogs.com/mike-liu/p/9279313.html

4.死锁

有尝试在取对列数据时加锁+释放锁，但是这个代码里出现了错误，“RuntimeError: release unlocked lock”，没有解决。我是将消费者的join()等待注释掉了就可以了。有清楚的同学也可以在下面评论吼吼。

https://www.cnblogs.com/dplearning/p/6947213.html
http://www.cocoachina.com/articles/477979

完整代码

from multiprocessing import JoinableQueue, Process
import time


def deal_file(q_file):
    while True:
        info = q_file.get()
        if info:
            with open('hello.txt', 'a')as f:
                f.write(info)
                f.flush()
        else:
            print(info)
            break
        q_file.task_done()

def producer(q, name):
    for i in range(200000):
        info = name + ' ' + str(i)
        with open('info.txt', 'a')as f:
            f.write(info+'\n')
            f.flush()
        q.put(info)

def consumer(q, q_file):
    while True:
        line = q.get()
        if line:
            file_content = 'hello ni hao ' + line + '\n'
            q_file.put(file_content)
        else:
            break
        q.task_done()


if __name__ == '__main__':
    t = time.time()
    q = JoinableQueue(10)
    q_file = JoinableQueue(50)
    p_pro = Process(target=producer, args=(q, u'producer'))
    p_con = Process(target=consumer, args=(q, q_file))
    p_con2 = Process(target=consumer, args=(q, q_file))
    p_con3 = Process(target=consumer, args=(q, q_file))
    p_con4 = Process(target=deal_file, args=(q_file,))
    p_pro.start()
    p_con.start()
    p_con2.start()
    p_con3.start()
    p_con4.start()

    p_pro.join()
    q.join()
    q_file.join()

    q.put(None)
    q.put(None)
    q.put(None)
    q_file.put(None)

    print(time.time() - t)