python2中,有urllib和urllib2两个库,在python3中统一为urllib库
它是python内置的HTTP请求库,包含了4个模块:
request:最基本的HTTP请求模块,用来模拟发送请求,就行浏览器传入URL一样,给库方法传入URL和额外的参数就可以实现
error:异常处理模块,如果出现请求错误,可以捕获这些异常,然后进行操作,保证程序不会以为终止
parse:工具模块,提供了URL处理方法,比如拆分、解析、合并
robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以爬,哪些不可爬
官方文档:
https://docs.python.org/3/library/urllib.request.html
发送请求:
urllib.request模块:
1、urlopen()
urllib.request模块最基本的构造HTTP请求方法,可以模拟浏览器一个请求发起的过程,还带有处理授权验证、重定向、浏览器Cookies和其他内容
抓取python官网
查看返回的类型
是一个HTTPResponse类型,主要包含方法:
read()
readinto()
getheader(name)
getheaders()
fileno()
主要包含属性:
msg
version
status
reason
debuglevel
closed
urlopen()参数
urllib.request.urlopen(url , data=None , [timeout , ]* , cafile=None , capath=None , catefault=False , context=None)
data参数
data是可选参数,bytes类型,如果不是就需要通过bytes()方法转化,如果穿了data参数,那么请求方式就是POST,反之就是GET
bytes()方法的第一个参数需要是字符串类型,使用urllib.parse.urlencode()方法将参数字典转换成字符串;第二个参数是指点编码格式
结果看到传的参数在form字段,表示模拟表单方式,以POST方式传输
timeout参数
用户设置超时时间,单位是秒,如果请求超过这个时间还没有响应,就抛出异常
超时的话会抛出超时
捕获异常
context:必须是ssl.SSLContext类型,用于指点SSL设置
cafile、capath:指定CA证书和它的路径
cadefault:默认是false,已经弃用
Request参数
发送请求依然使用urlopen()方法,只不过参数使用Request类型的对象
urllib.request.Request(url , data=None , headers={} , origin_req_host=None , unverifiable=flase , method=None)
url:请求的URL,必传
data:必须是bytes类型,如果是字典,先用rullib.parse模块里的 urlencode()编码
headers:请求头,字典形式,可以在参数直接构造,也可以通过调用add_header()方法添加
origin_req_host:请求方的host名或者IP地址
unverifiable:默认是flase,表示请求是否是无法验证的,也就是用户有没有权限来接收这个请求的结果
method:字符串形式,指定请求的方式
高级用法Handler
urllib.request中的BaseHandler类,是其他所有Handler的父类,提供了最基本的方法,defult_open()、protocol_request()等
各种继承这个BaseHandler父类的Handler子类:
HTTPDefaultErrorHandler:用于处理HTTP响应错误,错误都会抛出HTTPError类型的异常
HTTPRedirectHandler:处理重定向
HTTPCookieProcessor:处理Cookies
ProxyHandler:设置代理,默认代理为空
HTTPPasswordMgr:管理密码,维护了用户名和密码的表
HTTPBasicAuthHandler:管理认证,如果打开链接需要认证,用它可以解决
还有其他类,查看所有的官方文档:
httos://docs.python.org/3/library/urllib.request.html#urllib.request.BaseHandler
OpenerDirector类
简称Opener,urlopen()方法就是urllib提供的一个Opener
Request和urlopen相当于类库为我们封装了常用的一些方法,利用这些可以完成基本的请求,想要完成更高级的功能,需要使用更底层的实例完成,就用到了Opener
Opener可以使用open()方法,和urlopen()一样
利用Handler来构建Opener
实例:
1、验证
例如打开网站时弹框提示登录,登录后才可以查看页面
实例化HTTPPasswordMgrWithDefaultRealm对象,它利用add_password()添加用户名密码,这样就建立了一个处理验证的Handler
利用这个Handler使用build_opener()方法构建一个Opener,这个Opener在方式请求时就相当于已经验证成功了
然后Opener利用open()方法打开连接就可以完成验证,获取到的就是验证后的页面源代码
2、代理
爬虫免不了做代理,添加代理
使用ProxyHandler,参数是一个字典,键名是协议类型,如:HTTP或者HTTPS,值是代理链接,可以添加多个代理
然后利用这个Handler及build_opener()方法构造一个Opener,之后发送请求
3、Cookies
将网站的Cookies获取下来,打印
首先声明一个CookieJar对象,然后利用HTTPCookieProcessor来构建一个Handler,最后利用build_opener()方法构建出Opener,执行open()方法
输出成文件格式
CookieJar换成MozillaCookieJar,生成文件时用,是CookieJar的子类,用来处理Cookie和文件相关的事,比如读取、保存,可以将Cookie保存成Mozilla型浏览器的Cookie形式
LWPCookieJar同样可以读取和保存Cookie,但是保存的格式和MozillaCookieJar不一样,它会保存成libwww-perl(LWP)格式的Cookie文件
读取并使用Cookie
lod()方法用来读取本地Cookie文件,获取内容,然后构建Handler和Opener完成操作
官方文档:
https://docs.python.org/3/library/urllib.request.html#basehandler-objects