在B站跟着Alex老师学习爬虫,到模拟登录人人网这一章节时,因人人网已停服(?好像),所以我选择了在古诗文网尝试模拟登录。
抓包的时候我并没有找到老师视频里面的这个包:
但是我有代餐:
这个包的From Data项内容和老师视频里的也不太一样:
但是没关系,还是照常把这一坨搬进代码里面,按流程写完点击运行,这时候发现,诶,怎么爬取的网页还是登录界面,也就是说,模拟登录失败了!显示“验证码错误”。
我开始以为问题出在__VIEWSTATE和__VIEWSTATEGENERATOR这两个参数上,看其它博客里有人说这两个参数是用来反爬的,而且经我观察,每一次在登录过程中抓包时得到的__VIEWSTATE值都是在变化的,所以我尝试解析了网页源代码里面的__VIEWSTATE即可,在保证代码正确的情况下却还是之前那个问题。
尝试了一个上午都没有出结果,我有点想跳这节内容了,然后果真跳了,结果下一节内容里老师就介绍了这个问题,原来:没有请求到对应页面数据的原因是,服务器端并不知道当前请求是基于登录页面下的请求,所以,我们需要引入下一个知识点:Cookie,Cookie的作用就是让服务器端记录客户端的相关状态。
把requests改成session之后,我爬的页面就可以在浏览器里正常打开了,但是乱糟糟的,超链接也都没法点,一点一个404,我也不知道问题出在哪,maybe是有什么反爬手段?
最后粘一下我的代码吧!
# 对古诗文网进行模拟登录
import requests
from lxml import etree
from codeClass import Chaojiying_Client
# 封装识别验证码的函数
def getImgCode(img_path, codeType):
chaojiying = Chaojiying_Client('这里输入你的超级鹰账号', '这里输入你的超级鹰密码', '这里输入你的超级鹰软件ID')
im = open(img_path, 'rb').read()
return chaojiying.PostPic(im, codeType)['pic_str']
if __name__ == "__main__":
# 创建一个session对象
session = requests.session()
# UA伪装
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
}
# 爬取整张页面数据
url = 'https://so.gushiwen.cn/user/login.aspx'
page_text = requests.get(url=url, headers=headers).text
# 解析出验证码图片的URL和__VIEWSTATE
tree = etree.HTML(page_text)
img_url = 'https://so.gushiwen.cn' + tree.xpath('//div[@class="mainreg2"]/div[4]/img/@src')[0]
view_state = tree.xpath('//input[@name="__VIEWSTATE"]/@value')
# 下载验证码图片至本地
img_data = session.get(url=img_url, headers=headers).content
with open('./gushiwen.jpg', 'wb') as fp:
fp.write(img_data)
# 识别验证码
img_code = getImgCode('./gushiwen.jpg', 1902)
print(img_code)
# 使用携带Cookie的session发送POST请求,实现模拟登录
login_url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
data = {
'__VIEWSTATE': view_state,
'__VIEWSTATEGENERATOR': 'C93BE1AE',
'from': 'http: // so.gushiwen.cn / user / collect.aspx',
'email': '这里输入你的古诗文网账号',
'pwd': '这里输入你的古诗文网密码',
'code': img_code,
'denglu': '登录'
}
login_response = session.post(url=login_url, headers=headers, data=data)
print(login_response.status_code)
login_page_text = login_response.text
with open('./gushiwen.html', 'w', encoding='utf-8') as fp:
fp.write(login_page_text)
其中那个codeClass的代码我也粘一下:
import requests
from hashlib import md5
class Chaojiying_Client(object):
def __init__(self, username, password, soft_id):
self.username = username
password = password.encode('utf8')
self.password = md5(password).hexdigest()
self.soft_id = soft_id
self.base_params = {
'user': self.username,
'pass2': self.password,
'softid': self.soft_id,
}
self.headers = {
'Connection': 'Keep-Alive',
'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
}
def PostPic(self, im, codetype):
"""
im: 图片字节
codetype: 题目类型 参考 http://www.chaojiying.com/price.html
"""
params = {
'codetype': codetype,
}
params.update(self.base_params)
files = {'userfile': ('ccc.jpg', im)}
r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
return r.json()
def PostPic_base64(self, base64_str, codetype):
"""
im: 图片字节
codetype: 题目类型 参考 http://www.chaojiying.com/price.html
"""
params = {
'codetype': codetype,
'file_base64':base64_str
}
params.update(self.base_params)
r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, headers=self.headers)
return r.json()
def ReportError(self, im_id):
"""
im_id:报错题目的图片ID
"""
params = {
'id': im_id,
}
params.update(self.base_params)
r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
return r.json()