python爬虫面试题和答案_总结Python爬虫面试题

不住重点，总结以下面试常见问题，为想要转爬虫的小伙伴提供一些参考。

一

.

项目问题：

一般面试官的第一个问题八成都是问一下以前做过的项目，所以最好准备两

个自己最近写的有些技术

含量的项目，

当然一定要自己亲手写过的，

在别的地方看的源码，

就算看的再清

楚，总归没有自己敲的

了解的多。以下是抽出的几点

1.

你写爬虫的时候都遇到过什么反爬虫措施，你是怎么解决的

2.

用的什么框架，为什么选择这个框架

(

我用的是

scrapy

框架，所以下面的问题

也是针对

scrapy)

二

.

框架问题（

scrapy

）可能会根据你说的框架问不同的问题，但是

scrapy

还是

比较多的

1.scrapy

的基本结构（五个部分都是什么，请求发出去的整个流程）

2.scrapy

的去重原理

（指纹去重到底是什么原理）

3.scrapy

中间件有几种类，你用过那些中间件，

4.scrapy

中间件再哪里起的作用（面向切面编程）

三

.

代理问题

1.

为什么会用到代理

2.

代理怎么使用（具体代码，请求在什么时候添加的代理）

3.

代理失效了怎么处理