在爬虫的爬取过程当中,会出现一些无法直接访问的页面,这些页面一般需要用户登录之后才能获取完整数据,在这种情况下,作为爬虫的使用者就需要面对这个问题。
怎么解决呢?
一般来说,有两种方法:
一、手动输入
二、自动输入
在一些网站当中,我们只需要在一开始登录账号之后,就可以不用再管,像这种网站,就适合手动输入,一次输入,不需要再次调整。
不过,有时爬虫会遇到一些网站,这些网站信息的获取都需要登录之后才能获取,这种情况下就需要使用爬虫设置自动登录了。
那自动登录该怎么设置?
在设置自动登录之前,需要先获取登录后的 cookie。
什么是 cookie?
cookie就是某些网站为了辨别用户身份,进行Session跟踪而储存在用户本地终端上的数据,由用户客户端计算机暂时或永久保存的信息。
当服务器接收到复数的请求时,是无法判断出哪些请求是由同一个客户端发起的。于是就需要读取cookie来标识客户端的身份,以存储它的信息,比如登录状态等。cookie 保存在发起请求的客户端中,服务器利用cookie来区分不同的客户端。
用通俗的话来讲, cookie 就是网站验证用户的一张身份证。用户持有的这张身份证在登录时供访问网站查看。
为了实现自动登录的目的,我们就需要获取登录时的 cookie 进行解析。
如何获取 cookie ?
在访问被爬取网站时,先使用浏览器登录。再打开开发者工具,转到network选项卡。在左边的Name一栏找到当前的网址,选择右边的Headers选项卡,查看Request Headers,这里包含了该网站颁发给浏览器的cookie。
就像上图中 cookie ,后面有我们登录时用的 ID 信息,和各种我们自动登录时所用的信息。
得到 cookie 之后,就可以进行进一步处理,将 cookie 中的信息处理成字符串,供下一步处理。代码如下:
import requests
importsys
importio
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')
#改变标准输出的默认编码
#登录后才能访问的网页
url = 'http://xxxx.com/cmstar/index.portal'
#浏览器登录后得到的cookie,也就是刚才复制的字符串
cookie_str= r'JSESSIONID=xxxxxxxxxxxxxxxxxxxxxx; iPlanetDirectoryPro=xxxxxxxxxxxxxxxxxx'
#把cookie字符串处理成字典,以便接下来使用
cookies = {}
for linein cookie_str.split(';'):
key, value = line.split('=', 1)
cookies[key] = value
#设置请求头
headers = {'User-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'}
#在发送get请求时带上请求头和cookies
resp = requests.get(url, headers = headers, cookies = cookies)
print(resp.content.decode('utf-8'))
在设置好之后,就可以进行下一步。
用session保持登录状态
session 在计算机中,尤其是在网络应用中,被称为“会话控制”。Session对象存储特定用户会话所需的属性及配置信息。这样,当用户在应用程序的Web页之间跳转时,存储在Session对象中的变量将不会丢失,而是在整个用户会话中一直存在下去。
用通俗的说法就是,session可以用户保持在登录状态,让服务器认为它一直在和客户端对话,从而保证了爬虫在爬取数据的过程中,登录状态的保证。
这一步骤只需要在上述的代码当中添加一段代码即可,代码如下:
#登录时需要POST的数据
data = {'Login.Token1':'账号',
'Login.Token2':'密码',
'goto:http':'//xxxxx.com/loginSuccess.portal',
'gotoOnFail:http':'//xxxxx.com/loginFailure.portal'}
#设置请求头
headers= {'User-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'}
#登录时表单提交到的地址(用开发者工具可以看到)
login_url= 'http://xxxxx.com/userPasswordValidate.portal'
#构造Session
session = requests.Session()
#在session中发送登录请求,此后这个session里就存储了cookie
#可以用print(session.cookies.get_dict())查看
resp = session.post(login_url, data)
#登录后才能访问的网页
url = 'http://ssfw.xmu.edu.cn/cmstar/index.portal'
#发送访问请求
resp = session.get(url)
print(resp.content.decode('utf-8'))
这样就可以在使用爬虫的过程中,让其自己登录所爬的网站,并获取数据了