99道Python爬虫面试题！你敢来挑战吗？

Time will tell.

1.遇到过得反爬虫策略以及解决方法?

2.urllib 和 urllib2 的区别？

3.列举网络爬虫所用到的网络数据包，解析包？

4.简述一下爬虫的步骤？

5.遇到反爬机制怎么处理？

6.常见的HTTP方法有哪些？

7.说一说redis-scrapy中redis的作用?

8.遇到的反爬虫策略以及解决方法?

9.防范网站爬虫，应该怎么来提高爬取的难度 ？

10.scrapy分为几个组成部分？分别有什么作用？

11.scrapy的基本流程?

12.python3.5语言中enumerate的意思是什么？

13.你是否了解谷歌的无头浏览器？

14.scrapy和scrapy-redis的区别？

15.为什么会选择redis数据库？

16.什么是主从同步？

17.scrapy的优缺点？为什么要选择scrapy框架？

18.scrapy和requests的使用情况？

19.描述一下scrapy框架的运行机制？

20.写爬虫使用多进程好，还是用多线程好？

21.如何提高爬取效率？

22.说说什么是爬虫协议？