古诗文网模拟登录失败

在B站跟着Alex老师学习爬虫，到模拟登录人人网这一章节时，因人人网已停服（？好像），所以我选择了在古诗文网尝试模拟登录。

抓包的时候我并没有找到老师视频里面的这个包：

但是我有代餐：

这个包的From Data项内容和老师视频里的也不太一样：

但是没关系，还是照常把这一坨搬进代码里面，按流程写完点击运行，这时候发现，诶，怎么爬取的网页还是登录界面，也就是说，模拟登录失败了！显示“验证码错误”。

我开始以为问题出在__VIEWSTATE和__VIEWSTATEGENERATOR这两个参数上，看其它博客里有人说这两个参数是用来反爬的，而且经我观察，每一次在登录过程中抓包时得到的__VIEWSTATE值都是在变化的，所以我尝试解析了网页源代码里面的__VIEWSTATE即可，在保证代码正确的情况下却还是之前那个问题。

尝试了一个上午都没有出结果，我有点想跳这节内容了，然后果真跳了，结果下一节内容里老师就介绍了这个问题，原来：没有请求到对应页面数据的原因是，服务器端并不知道当前请求是基于登录页面下的请求，所以，我们需要引入下一个知识点：Cookie，Cookie的作用就是让服务器端记录客户端的相关状态。

把requests改成session之后，我爬的页面就可以在浏览器里正常打开了，但是乱糟糟的，超链接也都没法点，一点一个404，我也不知道问题出在哪，maybe是有什么反爬手段？

最后粘一下我的代码吧！

# 对古诗文网进行模拟登录

import requests
from lxml import etree
from codeClass import Chaojiying_Client

# 封装识别验证码的函数
def getImgCode(img_path, codeType):
    chaojiying = Chaojiying_Client('这里输入你的超级鹰账号', '这里输入你的超级鹰密码', '这里输入你的超级鹰软件ID')
    im = open(img_path, 'rb').read()
    return chaojiying.PostPic(im, codeType)['pic_str']

if __name__ == "__main__":
    # 创建一个session对象
    session = requests.session()

    # UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
    }

    # 爬取整张页面数据
    url = 'https://so.gushiwen.cn/user/login.aspx'
    page_text = requests.get(url=url, headers=headers).text

    # 解析出验证码图片的URL和__VIEWSTATE
    tree = etree.HTML(page_text)
    img_url = 'https://so.gushiwen.cn' + tree.xpath('//div[@class="mainreg2"]/div[4]/img/@src')[0]
    view_state = tree.xpath('//input[@name="__VIEWSTATE"]/@value')

    # 下载验证码图片至本地
    img_data = session.get(url=img_url, headers=headers).content
    with open('./gushiwen.jpg', 'wb') as fp:
        fp.write(img_data)

    # 识别验证码
    img_code = getImgCode('./gushiwen.jpg', 1902)
    print(img_code)

    # 使用携带Cookie的session发送POST请求，实现模拟登录
    login_url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
    data = {
        '__VIEWSTATE': view_state,
        '__VIEWSTATEGENERATOR': 'C93BE1AE',
        'from': 'http: // so.gushiwen.cn / user / collect.aspx',
        'email': '这里输入你的古诗文网账号',
        'pwd': '这里输入你的古诗文网密码',
        'code': img_code,
        'denglu': '登录'
    }
    login_response = session.post(url=login_url, headers=headers, data=data)
    print(login_response.status_code)
    login_page_text = login_response.text
    with open('./gushiwen.html', 'w', encoding='utf-8') as fp:
        fp.write(login_page_text)

其中那个codeClass的代码我也粘一下：

import requests
from hashlib import md5

class Chaojiying_Client(object):

    def __init__(self, username, password, soft_id):
        self.username = username
        password =  password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,
        }
        self.headers = {
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
        }

    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
        }
        params.update(self.base_params)
        files = {'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
        return r.json()

    def PostPic_base64(self, base64_str, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
            'file_base64':base64_str
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, headers=self.headers)
        return r.json()

    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            'id': im_id,
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()