06、线程同步[ 线程安全 ] -- semaphore 【信号量】

01、semaphore -- 以爬虫作为案例进行讲解

--semaphore: 是控制进入数量的锁

--举例:
    文件的读写:一般写入只允许一个进程来操作写入的进程,但是读出的进程一般都是允许多个的
        --读和写可共存
        --读和读可共存
        --写与写互斥

    爬虫:一次并发20个太多,需要每次三个三个的执行,这里就以爬虫作为案例进行讲解

--代码示例:
import threading
import time

# 做爬虫
class HtmlSpider(threading.Thread):
    def __init__(self, url, sem):
        super().__init__()
        self.url = url
        self.sem = sem

    def run(self):
        time.sleep(2)
        print('get html text success')
        self.sem.release()  # 每次释放加1

class UrlProducer(threading.Thread):
    def __init__(self, sem):
        super().__init__()
        self.sem = sem

    def run(self):
        for i in range(20):
            self.sem.acquire()  # 每调用一次数字减一,这里初始值为3只能调用3此
            html_thread = HtmlSpider("https://www.baidu.com/{}".format(str(i)), self.sem)
            html_thread.start()

if __name__ == '__main__':
    # 注意这里线程套线程,非常经典案例
    # 我们希望控制每次的并发量,不是20例如每次3个
    # 就需要最多三个,释放一个加入一个,不能超过3
    sem = threading.Semaphore(3)
    url_producer = UrlProducer(sem)
    url_producer.start()

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值