python3爬虫学习之生产者与消费者爬虫

我们将了解到两个版本的消费者与生产者的实例

一，Lock版

import threading
import random
import time

#假设有5个消费者3个生产者，生产者的赚钱区间为100-1000元，消费者的消费区间100-1000，
# 要求生产者只生产10次，消费者无消费次数要求
#当余额低于消费时给出余额不足的提醒
#当存款小于最低消费额时，结束程序

#设置初始余额1000
gMoney = 1000

#初始一个次数为1
Times = 1

gLock = threading.Lock()

#定义生产者线程
class producer(threading.Thread):
    def run(self):
        global gMoney
        global Times
        while True:
            money = random.randint(100,1000)
            gLock.acquire()
            if Times > 10:
                gLock.release() #这里一定要释放锁，不然会死锁
                break
            gMoney += money
            print("%s 生产了 %d 的钱，现在余额为 %d" % (threading.current_thread(),
                                                money,gMoney))
            Times += 1
            gLock.release()
            time.sleep(2)

#定义消费者
class consumer(threading.Thread):
    # global gMoney
    def run(self):
        global gMoney
        global Times
        while True:
            money = random.randint(100,1000)
            gLock.acquire()
            if gMoney >= money :
                gMoney -= money
                print("%s 消费了 %d 的钱，现在余额为 %d" % (threading.current_thread(),
                                                 money, gMoney))
            else:
                if Times >= 10:
                    gLock.release()#这里也要释放锁
                    break
                print("%s 准备消费 %d 的钱，余额为 %d ,余额不足！" % (threading.current_thread()
                                                       ,money,gMoney))
            gLock.release()
            time.sleep(2)

def main():
    for x in range(3):
        t = producer(name = "生产者线程%d" % x)
        t.start()

    for x in range(5):
        t = consumer(name = "消费者线程%d" % x)
        t.start()

if __name__ == '__main__':
    main()

我们可以清晰看到要求，我们首先分析生产者

我们要求生产者只生产10，而且每次生产的钱是个有限制的随机数，我们让它继承父类，然后申请锁。

判断生产次数，如果已经达到10次，我们释放锁，并退出整个生产者。

如果没有到次，我们把钱加上去，把生产次数+1，释放锁，沉睡两秒。

我们在分析消费者

先判断余额是否大于消费金额，如果是，允许消费并扣除金额

如果余额不足，我们需要判断，生产者还会不会继续生产

如果不继续生产，我们释放锁，退出

如果继续生产，我们不允许消费，释放锁，等待生产者生产。

最后，在主函数定义3个生产者，5个消费者，我们看看结果

这样，我们就完成了要求。

二，Condition版

import threading
import random
import time

#假设有5个消费者3个生产者，生产者的赚钱区间为100-1000元，消费者的消费区间100-1000，
# 要求生产者只生产10次，消费者无消费次数要求
#当余额低于消费时给出余额不足的提醒
#当存款小于最低消费额时，结束程序

#设置初始余额1000
gMoney = 1000

#初始一个次数为1
Times = 1

gCondition = threading.Condition()

#定义生产者线程
class producer(threading.Thread):
    def run(self):
        global gMoney
        global Times
        while True:
            money = random.randint(100,1000)
            gCondition.acquire()
            if Times > 10:
                gCondition.release() #这里一定要释放锁，不然会死锁
                break
            gMoney += money
            print("%s 生产了 %d 的钱，现在余额为 %d" % (threading.current_thread(),
                                                money,gMoney))
            Times += 1
            gCondition.notify_all() #通知所有等待的线程
            gCondition.release()
            time.sleep(2)

#定义消费者
class consumer(threading.Thread):
    # global gMoney
    def run(self):
        global gMoney
        global Times
        while True:
            money = random.randint(100,1000)
            gCondition.acquire()
            while gMoney < money:
                #不能用if 用if时，如果wait 等到通知，不会立刻执行下面的语句
                #导致该线程运行时可能gMoney不足
                if Times >= 10:
                    gCondition.release() #这里一定要释放锁
                    return #return 可以直接退出两层while循环，break只能退出当前while
                print("%s 准备消费 %d 的钱，余额为 %d ,余额不足！" % (threading.current_thread()
                                                       , money, gMoney))
                gCondition.wait()
            gMoney -= money
            print("%s 消费了 %d 的钱，现在余额为 %d" % (threading.current_thread(),
                                             money, gMoney))
            gCondition.release()
            time.sleep(2)

def main():
    for x in range(3):
        t = producer(name = "生产者线程%d" % x)
        t.start()

    for x in range(5):
        t = consumer(name = "消费者线程%d" % x)
        t.start()

if __name__ == '__main__':
    main()

这个和Lock版大同小异，但，异点也是关键点，这里不在分析了，运行结果和Lock版基本一样，也不再贴出来