python爬虫-使用cookie登录

前言：

什么是cookie?

Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）。

比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib库保存我们登录的Cookie，然后再抓取其他页面,这样就达到了我们的目的。

---

一、Urllib库简介

Urllib是python内置的HTTP请求库，官方地址：https://docs.python.org/3/library/urllib.html

包括以下模块：

>>>urllib.request 请求模块

>>>urllib.error 异常处理模块

>>>urllib.parse url解析模块

>>>urllib.robotparser robots.txt解析模块

 

---

二、urllib.request.urlopen介绍

uurlopen一般常用的有三个参数，它的参数如下：

urllib.requeset.urlopen(url,data,timeout)

简单的例子：

1、url参数的使用（请求的URL）

response = urllib.request.urlopen('http://www.baidu.com')

2、data参数的使用（以post请求方式请求）

data= bytes(urllib.parse.urlencode({
   'word':'hello'}), encoding='utf8')

response= urllib.request.urlopen('http://www.baidu.com/post', data=data)

3、timeout参数的使用（请求设置一个超时时间，而不是让程序一直在等待结果）

response= urllib.request.urlopen('http://www.baidu.com/get', timeout=4)

 

---

三、构造Requset

1、数据传送POST和GET（举例说明：此处列举登录的请求，定义一个字典为values，参数为：email和password，然后利用urllib.parse.urlencode方法将字典编码，命名为data，构建request时传入两个参数：url、data。运行程序，即可实现登陆。）

GET方式：直接以链接形式访问，链接中包含了所有的参数。