qq_61234803的博客

原创 简单写下异步爬虫优缺点

关于异步爬虫的阐述 高性能爬虫 目的：在爬虫中使用异步实现高性能的数据爬取操作。 异步爬虫的方式： -多线程，多进程 (不建议)： 好处:可以为相关阻塞的操作开启线程或者进程，阻塞操作就可以异步执行。 弊端：无法无限制地开启多线程或者多进程。 -线程池、进程池 (适当的使用)： 好处：我们可以降低系统对进程或线程创建或者销毁的一个频率，从而很好地降低系统的开销。 弊端：池中线程或进程的数量是有上限。 ...