01、semaphore -- 以爬虫作为案例进行讲解
--semaphore: 是控制进入数量的锁
--举例:
文件的读写:一般写入只允许一个进程来操作写入的进程,但是读出的进程一般都是允许多个的
--读和写可共存
--读和读可共存
--写与写互斥
爬虫:一次并发20个太多,需要每次三个三个的执行,这里就以爬虫作为案例进行讲解
--代码示例:
import threading
import time
# 做爬虫
class HtmlSpider(threading.Thread):
def __init__(self, url, sem):
super().__init__()
self.url = url
self.sem = sem
def run(self):
time.sleep(2)
print('get html text success')
self.sem.release() # 每次释放加1
class UrlProducer(threading.Thread):
def __init__(self, sem):
super().__init__()
self.sem = sem
def run(self):
for i in range(20):
self.sem.acquire() # 每调用一次数字减一,这里初始值为3只能调用3此
html_thread = HtmlSpider("https://www.baidu.com/{}".format(str(i)), self.sem)
html_thread.start()
if __name__ == '__main__':
# 注意这里线程套线程,非常经典案例
# 我们希望控制每次的并发量,不是20例如每次3个
# 就需要最多三个,释放一个加入一个,不能超过3
sem = threading.Semaphore(3)
url_producer = UrlProducer(sem)
url_producer.start()