关于异步爬虫的阐述
高性能爬虫
目的:在爬虫中使用异步实现高性能的数据爬取操作。
异步爬虫的方式:
-多线程,多进程 (不建议):
好处:可以为相关阻塞的操作开启线程或者进程,阻塞操作就可以异步执行。
弊端:无法无限制地开启多线程或者多进程。
-线程池、进程池 (适当的使用):
好处:我们可以降低系统对进程或线程创建或者销毁的一个频率,从而很好地降低系统的开销。
弊端:池中线程或进程的数量是有上限。
关于异步爬虫的阐述
高性能爬虫
目的:在爬虫中使用异步实现高性能的数据爬取操作。
异步爬虫的方式:
-多线程,多进程 (不建议):
好处:可以为相关阻塞的操作开启线程或者进程,阻塞操作就可以异步执行。
弊端:无法无限制地开启多线程或者多进程。
-线程池、进程池 (适当的使用):
好处:我们可以降低系统对进程或线程创建或者销毁的一个频率,从而很好地降低系统的开销。
弊端:池中线程或进程的数量是有上限。