5道必问的Python爬虫面试题及答案

爬虫是Python的重要应用方向之一，也是学习Python的学员求职的主要方向。为了帮助学员更快更好的通过企业面试，我悉心整理了5道Python爬虫面试题及答案，希望能够给大家提供帮助！

1、简要介绍下scrapy框架及其优势

scrapy是一个快速(fast)、高层次(high-level)的基于Python的Web爬虫构架，用于抓取Web站点并从页面中提取结构化的数据。scrapy使用了Twisted异步网络库来处理网络通讯。

scrapy框架的优点：1）更容易构建大规模的抓取项目；2）异步处理请求速度非常快；3）可以使用自动调节机制自动调整爬行速度。

2、爬虫使用多线程好？还是多进程好？

对于IO密集型代码（文件处理，网络爬虫），多线程能够有效提升效率（单线程下有IO操作会进行IO等待，会造成不必要的时间等待，而开启多线程后，A线程等待时，会自动切换到线程B，可以不浪费CPU的资源，从而提升程序执行效率）。在实际的采集过程中，既考虑网速和相应的问题，也需要考虑自身机器硬件的情况，来设置多进程或者多线程。

3、什么是栈溢出？怎么解决？

因为栈一般默认为1-2m，一旦出现死循环或者是大量的递归调用，在不断的压栈过程中，造成栈容量超过1m而导致溢出。

栈溢出的情况有