超级会员免费看
本文整理了Python爬虫及网络编程面试中常见的问题，包括爬虫框架如urllib、requests、Scrapy的对比，Scrapy的工作流程和去重机制，中间件的使用，以及分布式爬虫的优势。此外，还涵盖了requests.content与requests.text的区别，lxml的使用，代理IP的处理，验证码解决方案，TCP与UDP的区别，以及GIL、并发和并行的概念。面试题涵盖了从基础到高级的爬虫开发知识。
1、你用过的爬虫框架或者模块有哪些?谈谈他们的区别或者优缺点
Python自带：urllib，urllib2；
第 三 方：requests；
框 架：Scrapy；
urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。
urllib2.：urllib2.urlopen可以接受一个Request对象或者url，(在接受Request对象时候，并以此可以来设置一个URL 的headers)，urllib.urlopen只接收一个url。
urllib：有urlencode,urllib2没有，因此总是urllib，urllib2常会一起使用的原因
scrapy是封装起来的框架，他包含了下载器，解析器，日志及异常处理，基于多线程， twisted的方式处理，对于固定单个网站的爬取开发，有优势，但是对于多网站爬取 100个网站，并发及分布式处理方面，不够灵活，不便调整与括展。
request 是一个HTTP库， 它只是用来，进行请求，对于HTTP请求，他是一个强大的库，下载，解析全部自己处理，灵活性更高，高并发与分布式部署也非常灵活&#
订阅专栏 解锁全文
扫一扫
1886
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
