实训项目（二）——去哪儿网模拟登陆

本节课主要是讲解如何模拟登陆去哪儿网，使用的工具是Chrome的开发者工具和requests库。两者都是之前学过的知识，这次我们把它们放在一起应用

什么是模拟登陆？

有些网站需要用户登录后才会有权限回去到所需要的信息，此时可以设计爬虫进行模拟登录

怎么做到模拟登陆呢？

把这句话补全就是： 怎么(让机器)模拟(人在浏览器上的行为)登录(指定的网站)。

方式一：

需要使用虚拟的浏览器引擎

• 优点： 适合几乎所有的网站登录，可以人为输入验证码 
  
  
• 缺点：速度较慢

步骤：

1. 请求登录页面的url，比如微博的(https://passport.weibo.cn/signin/login) 
   
   
2. 分析html中的表单数据 
   
   
   • 找到输入用户名、密码的输入框 
     
     
   • 把输入框的text域替换成自己的用户名密码 
     
     
3. 模拟点击提交按钮

方式二：

分析登录信息提交方式，利用浏览器cookie模拟登录

• 优点：轻量，速度快 
  
  
• 缺点 ：对技术要求高，对登录机制需要做针对的破解

步骤：

1. 分析网页结构，确认登录方式，例如扫码登录，账号密码登录 
   
   
2. 若是账号密码登陆，再确认有无验证码，及验证码接口 
   
   
3. 进行错误登陆测试，观测登陆系统的传码方案、账号密码是否有加密、是否有额外参数需要寻找、以及登陆需要传入的cookie 
   
   
4. 根据错误登陆的分析结果，去寻找额外的参数和需要传入cookie的来源，以及密码加密函数 
   
   
5. 进入测试阶段，反复测试整个过程 
   
   
6. 编写代码

在本次项目中我们使用的是更常用的第二种方式：利用浏览器cookie模拟登录

什么是cookie？

之前的课程资料中，我们已经谈过了cookie和session的关系，我们在这里简单地复习一下

Cookie：

• 当用户通过浏览器首次访问一个域名时，访问的Web服务器会给客户端发送数据，以保持Web服务器与客户端之间的状态，这些数据就是Cookie 
  
  
• 它是站点创建的，为了辨别用户身份而储存在用户本地终端上的数据，其中的信息一般都是经过加密的，存在缓存或硬盘中，在硬盘中是一些小文本文件 
  
  
• 当访问该网站时，就会读取对应网站的Cookie信息 
  
  
• 作用：记录不同用户的访问状态

Session：

• Session是另一种记录客户状态的机制，不同的是Cookie保存在客户端浏览器中，而Session保存在服务器上 
  
  
• 客户端浏览器访问服务器的时候，服务器把客户端信息以某种形式记录在服务器上。这就是Session。客户端浏览器再次访问时只需要从该Session中查找该客户的状态就可以了 
  
  
• 如果说Cookie机制是通过检查客户身上的“通行证”来确定客户身份的话，那么Session机制就是通过检查服务器上的“客户明细表”来确认客户身份。Session相当于程序在服务器上建立的一份客户档案，客户来访的时候只需要查询客户档案表就可以了

整体思路梳理

做好了前期的知识储备以后，我们就开始正式模拟登陆了

1. 分析网页登录方式，有三种：扫码登录，账号密码登录，短信验证码登录。最后确认使用账号密码登录的方式进行模拟 
   
   
2. 打开隐身窗口（浏览器界面按Ctrl+Shift+N），选择使用账号密码登录后，确认有验证码验证，通过分析确认验证码接口 
   
   
3. 尝试错误登录，查看请求页面的Form Data，构造请求函数，尝试使用爬虫登录，发现报错，去页面查看需要传入的cookie，发现需要传入QN1，QN25，QN271，_i，_vi，fid这几个cookie 
   
   
4. 寻找cookie的来源，使用开发者工具filter功能中的set-cookie-name，查找cookie的来源 
   
   
5. 在Session中通过get请求添加需要的cookie，再次尝试登录

代码实现：

import requests

import re

"""

此代码共分为4部分：初始化模块，获取添加cookies模块，验证码模块，登录模块

"""

def start_get_session():

session_ = requests.session() #得到一个session

return session_

def get_base_cookies(session_):

session_.get( 'https://user.qunar.com/passport/login.jsp') #获得cookie参数QN1，QN25

get_image(session_) #通过调用get_image函数，得到验证码图片

session_.get( 'https://user.qunar.com/passport/addICK.jsp?ssl') #获得cookie参数_i，_vi

"""

由于获取fid参数的url需要cookie参数SESSIONID得到，所以没办法直接得到fid，需要先得到SESSIONID这个参数，再得到fid参数

"""

response = session_.get( 'https://rmcsdf.qunar.com/js/df.js?org_id=ucenter.login&js_type=0') #经过查找发现SESSIONID在这个js文件中，所以先得到它

#查找SESSIONID

cookie_SE = re.findall( r'&sessionId=(.*?)&',response.text)[ 0] #通过正则得到SESSIONID

#获取fid

session_.get( 'https://rmcsdf.qunar.com/api/device/challenge.json?callback=callback_1511693290383&'

'sessionId={}&domain=qunar.com&orgId=ucenter.login'.format(cookie_SE))

session_.cookies.update({ 'QN271':cookie_SE}) #通过比对发现参数QN271和SESSIONID相同，所以直接加入cookies中

def get_image(session_):

response = session_.get( 'https://user.qunar.com/captcha/api/image?k={en7mni(z&'

'p=ucenter_login&c=ef7d278eca6d25aa6aec7272d57f0a9a') #获得二维码的response

with open( './img/code.png' , 'wb') as f:

f.write(response.content) #把二维码存进同级img文件夹下命名为code

def login(session_ , username , password , vcode):

data ={

'loginType': 0,

'username': username,

'password': password,

'remember': 1,

'vcode': vcode,

}

url = 'https://user.qunar.com/passport/loginx.jsp'

response = session_.post(url , data) #通过post请求方式，模拟登录

print(response.text)

if __name__ == '__main__': #主程序，程序入口

session = start_get_session() #实例化一个session

get_base_cookies(session) #调用函数，在session中添加cookie

username = input( '请输入账号：')

password = input( '请输入密码：')

vcode = input( '请输入验证码：')

login(session, username, password, vcode) #调用登录函数

补充资料

豆瓣模拟登陆：

试试看，通过自己查资料，能否搞明白以下代码的作用：

import requests

from bs4 import BeautifulSoup

from PIL import Image

def login(username,password,source='index_nav',redir='https://www.douban.com/',login='登录'):

caprcha_id,caprcha_link = get_captcha(url)

if caprcha_id:

img_html = session.get(caprcha_link)

with open( 'caprcha.jpg', 'wb') as f:

f.write(img_html.content)

caprcha = input( '请输入验证码：') #把看到的验证码图片输入进去

data = {

'source':source,

'redir':redir,

'form_email':username,

'form_password':password,

'login':login,

}

if caprcha_id: #如果需要验证码就把下面的两个数据加入到data里面

data[ 'captcha-id'] = caprcha_id

data[ 'captcha-solution'] = caprcha

session.cookies.update({ '_pk_id.100001.8cb4': '3f610b4a44fcaf90.1511707138.1.1511707138.1511707138', '_pk_ses.100001.8cb4': '*'})

session.get( 'https://accounts.douban.com/login')

html = session.post(url,data=data,headers=headers)

print(html)

# print(a)

def get_captcha(url): #解析登入界面，获取caprcha_id和caprcha_link

html = requests.get(url)

soup = BeautifulSoup(html.text, 'lxml')

try:

caprcha_link = soup.select( '#captcha_image')[ 0][ 'src']

caprcha_id = soup.select( 'div.captcha_block > input')[ 1][ 'value']

return caprcha_id, caprcha_link

except:

print( '没有验证码')

return None, None

if __name__ == '__main__':

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36',

'Referer': 'https://accounts.douban.com/login?alias=&redir=https%3A%2F%2Fwww.douban.com%2F&source=index_nav&error=1001'

}

session = requests.Session()

session.headers.update(headers)

username = input( '请输入你的用户名：')

password = input( '请输入你的密码：')

url = 'https://accounts.douban.com/login'

login(username,password)