python爬虫写外挂_从零开始写一只爬虫 · 提速外挂

据我观察，在那个招聘网站上注册的公司大概有十万家。如果要是让前面那只虫子一个公司一个公司进行爬取的话，咱就按照 2 秒钟一个公司吧，20W 秒……55 小时。

咱们开多线程玩吧！

Python 的多线程也是蛮神奇的：和 Java 的多线程不同，Python 的多线程不需要继承什么东西、实现什么东西，不需要写特定的方法和类。真的是 “一句话实现多线程”。

self.THREADS = []

# 生成线程

for i in range(self.thread):

self.THREADS.append(threading.Thread(target=self.run_thread))

# 开启线程

for i in range(self.thread):

self.THREADS[i].start()

# 等待线程完成

for i in range(self.thread):

self.THREADS[i].join()

简单暴力是吧？

线程安全

然而我们不得不考虑一个问题：线程安全，也就是同步啊什么的。

你看啊，根据我们以前的代码，如果队列不空，就取出队头，进行操作。那好，队列中现在只有一个元素，两个线程跑并发，同时发现了队列不空，先后取队头——瞬间感觉有什么不对了吧？

所以呢，我们只能对队列进行加锁，保证每一次只有一个线程来操作队列。

# 互斥锁

self.queue