『python爬虫』requests实战-精易论坛自动签到（保姆级图文+实现代码）

已于 2024-03-09 08:20:51 修改
阅读量1.2k 收藏 30
点赞数 23
分类专栏： # scrapy爬虫 # python爬虫 文章标签： python 爬虫 开发语言 精易论坛
于 2024-03-09 08:15:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011027547/article/details/136298068
版权

目录

欢迎关注 『python爬虫』 专栏，持续更新中
欢迎关注 『python爬虫』 专栏，持续更新中

实现效果

在这里插入图片描述

API命令解析

re.findall 匹配内容,用于在我们得到的网页源码中查找指定的内容

在这个示例中，我们使用 re.findall() 查找了字符串 text 中所有的数字，并将它们以列表的形式返回给变量 numbers。r’\d+’ 是一个正则表达式模式，用于匹配一个或多个数字。

你可以根据实际需要调整正则表达式模式，以便在字符串中查找特定的内容。

希望这个示例对你有所帮助。如果你有任何其他问题，欢迎随时向我提问。

import re
# 匹配所有数字
text = "The recipe calls for 2 cups of sugar and 1 cup of flour."
numbers = re.findall(r'\d+', text)
print(numbers)  # 输出 ['2', '1']

session.post() 和 session.get()

都是 requests 库中的方法，用于发送 HTTP 请求。

session.get() 方法用于发送 GET 请求，而 session.post() 方法用于发送 POST 请求。通常情况下，GET 请求用于获取数据，POST 请求用于提交数据。

以下是一个示例代码，演示如何使用 session.get() 和 session.post() 方法发送 HTTP 请求

import requests

# 创建 Session 对象
session = requests.session()

# 发送 GET 请求
response = session.get('http://example.com')

# 发送 POST 请求
data = {'username': 'user', 'password': 'pass'}
response = session.post('http://example.com/login', data=data)

在这个例子中，我们首先创建了一个 Session 对象，并将其赋值给变量 session。然后，我们使用 session.get() 方法发送了一个 GET 请求，并将响应保存到变量 response 中。接下来，我们使用 session.post() 方法发送了一个 POST 请求，并将表单数据传递给服务器。

需要注意的是，使用 session 对象发送请求时，所有的请求都会使用同一个 Session，这可以确保在多个请求之间共享 Cookies 等信息。

实现思路

库

因为日常登录有滑块验证码,所以打算采用cookie的方式登录访问,同时涉及多个请求,就用requests和配套的lxml,匹配元素有用到re库用于正则匹配.

import requests
import re
import time
from lxml import etree

cookie怎么抓取

一般性的思路都是f12打开网络抓包,在登录页面的跳转时分析.
在这里插入图片描述
登录的一瞬间你最先看到了login.html,反正一般来说找这种login的(除非写网页的是什么特殊写法的自学成才的```一般都是有login字眼的)
在这里插入图片描述
在请求表头中找到cookie
在这里插入图片描述

cookie登录如何实现

requests.session() 是一个类，用于创建一个全局的 Session 对象，该对象可以跨请求保持某些参数，比如 Cookies。在使用 requests 库发送多个请求时，使用 Session 对象可以减少重复操作，提高代码执行效率。

使用 requests.session() 创建 Session 对象后，你可以像使用 requests.get() 或 requests.post() 一样发送 HTTP 请求，只不过在发送请求时，session 对象会自动记录 Cookies。这样就可以保持用户的登录状态，或者利用 Cookies 等信息来实现其他功能。

下面的代码中同时用到了伪装请求头,最终的rep是返回的网页源码.

    headers = {
        'cookie': 'xxxxxx',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62'
    }

    session = requests.session()

    url_page = 'https://bbs.125.la/plugin.php?id=dsu_paulsign:sign'
    #1.登录得到帖子
    rep = session.get(url=url_page, headers=headers)#rep是返回的网页源码

得到FORMHASH参数

如果没有传入"FORMHASH"参数会报错
在这里插入图片描述

    hot_message = re.findall(r'/thread-14(.*).html" target="_blank"', rep.text)#获取首页热门的帖子地址
    # print(hot_message)
    #['812294-1-1', '812481-1-1', '812254-1-1', '812156-1-1', '812348-1-1', '812474-1-1', '812182-1-1', '812359-1-1', '812267-1-1', '812159-1-1', '810464-1-1', '810459-1-1', '810334-1-1', '808876-1-1', '807810-1-1', '766025-1-1', '777673-1-1', '793375-1-1', '783395-1-1', '804966-1-1']

    formhash = re.findall(r'formhash=(.*)">退出', rep.text)
        print("formhash:{}".format(formhash))#['e5eexxxx]
    # formhash=xxxxxxx 看起来是一个表单提交时的参数。
    # formhash 是一个用于防止 CSRF（跨站请求伪造）攻击的安全令牌,也是后面签到需要用到的参数。
    url_page = 'https://bbs.125.la/plugin.php?id=dsu_paulsign:sign&operation=qiandao&infloat=1'

自动签到

抓到了签到的包
在这里插入图片描述

请求网址:
https://bbs.125.la/plugin.php?id=dsu_paulsign:sign&operation=qiandao&infloat=1

    rep = session.post(url=url_page, headers=headers,
                       data={'formhash': formhash, "submit": "1", "targerurl": "", "todaysay": "", "qdxq": "kx"})
    print("签到结果:" + re.findall(r'{"status":0,"msg":"(.*)"}', rep.text)[0])

自动评分

#3.自动评分
    for i in range(0, len(hot_message)):
        url_page = 'https://bbs.125.la/thread-14' + hot_message[i] +'.html'
        rep = session.get(url=url_page, headers=headers)
        if rep.status_code == 200:
            print('进入帖子详情页成功')
            tree = etree.HTML(rep.text)
            a_list = tree.xpath('//*[@id="ak_rate"]/@onclick')
            addr = a_list[0]
            str1 = addr.split(',')
            str2 = str1[1].split('&')
            tid1 = str2[2]
            pid1 = str2[3]
            tid2 = tid1.split('=')[1]
            pid2 = pid1.split('=')[1]
            pid3 = pid2.split('\'')[0]
            tid = tid2
            pid = pid3  # 获取到tid与pid
            formash1 = tree.xpath('//*[@id="vfastpost"]/input/@value')
            formash = formash1[0]  # 获取到formash
            # print("获取pid={}与tid={}与formash={}成功，开始自动评分".format(pid, tid, formash))
            # 开始评分
            url_score = 'https://bbs.125.la/forum.php?mod=misc&action=rate&ratesubmit=yes&infloat=yes&inajax=1'
            data = 'formhash=' + formash + '&tid=' + tid + '&pid=' + pid + '&referer=https%3A%2F%2Fbbs.125.la%2Fforum.php%3Fmod%3Dviewthread%26tid%3D' + tid + '%26page%3D0%23pid' + pid + '&handlekey=rate&score4=%2B1&reason=%E6%84%9F%E8%B0%A2%E5%88%86%E4%BA%AB%EF%BC%8C%E5%BE%88%E7%BB%99%E5%8A%9B%EF%BC%81%7E'
            headers['Content-Type'] = 'application/x-www-form-urlencoded'
            headers['Referer'] = 'https://bbs.125.la/thread-14720892-1-1.html'

            rep_score = session.post(url=url_score, data=data, headers=headers) #开始评分请求,rep_score是评分返回的源码

            rep_score_result=rep_score.status_code # 200表示评分成功
            if rep_score_result==200:
                print("评分推送成功,任务:{}".format(i))
            else:
                print("评分推送失败,任务:{}".format(i))


            score_message=re.findall(r'CDATA\[(.*)<scrip', rep_score.text)[0]
            result = re.search(r'class="showmenu">积分: (\d+)</a>', rep.text)
            if result:
                number = result.group(1)  # 提取匹配到的数字部分
                print("评分反馈:{},积分:{}".format(score_message,number))
            else:
                number=-1
                print("未找到匹配的内容,积分:{}".format(number))

            time.sleep(2)
            error_limit = rep_score.text.find("超过限制")
            if error_limit != -1:
                print("已经完成评分次数{},24小时评分数超过限制,退出".format(i))
                break;
        else:
            print('进入帖子失败')

实现代码

import requests
import re
import time
from lxml import etree


def dailyTask():
    headers = {
        'cookie': 'xxxxxxxxx',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62'
    }

    session = requests.session()

    url_page = 'https://bbs.125.la/plugin.php?id=dsu_paulsign:sign'
    #1.登录得到帖子
    rep = session.get(url=url_page, headers=headers)#rep是返回的网页源码

    hot_message = re.findall(r'/thread-14(.*).html" target="_blank"', rep.text)#获取首页热门的帖子地址
    # print(hot_message)
    #['812294-1-1', '812481-1-1', '812254-1-1', '812156-1-1', '812348-1-1', '812474-1-1', '812182-1-1', '812359-1-1', '812267-1-1', '812159-1-1', '810464-1-1', '810459-1-1', '810334-1-1', '808876-1-1', '807810-1-1', '766025-1-1', '777673-1-1', '793375-1-1', '783395-1-1', '804966-1-1']

    formhash = re.findall(r'formhash=(.*)">退出', rep.text)
    print("formhash:{}".format(formhash))#['e5eexxxx]
    # formhash=xxxxxxx 看起来是一个表单提交时的参数。
    # formhash 是一个用于防止 CSRF（跨站请求伪造）攻击的安全令牌,也是后面签到需要用到的参数。
    url_page = 'https://bbs.125.la/plugin.php?id=dsu_paulsign:sign&operation=qiandao&infloat=1'
    #2.自动签到
    rep = session.post(url=url_page, headers=headers,
                       data={'formhash': formhash, "submit": "1", "targerurl": "", "todaysay": "", "qdxq": "kx"})
    print("签到结果:" + re.findall(r'{"status":0,"msg":"(.*)"}', rep.text)[0])

    #3.自动评分
    for i in range(0, len(hot_message)):
        url_page = 'https://bbs.125.la/thread-14' + hot_message[i] +'.html'
        rep = session.get(url=url_page, headers=headers)
        if rep.status_code == 200:
            print('进入帖子详情页成功')
            tree = etree.HTML(rep.text)
            a_list = tree.xpath('//*[@id="ak_rate"]/@onclick')
            addr = a_list[0]
            str1 = addr.split(',')
            str2 = str1[1].split('&')
            tid1 = str2[2]
            pid1 = str2[3]
            tid2 = tid1.split('=')[1]
            pid2 = pid1.split('=')[1]
            pid3 = pid2.split('\'')[0]
            tid = tid2
            pid = pid3  # 获取到tid与pid
            formash1 = tree.xpath('//*[@id="vfastpost"]/input/@value')
            formash = formash1[0]  # 获取到formash
            # print("获取pid={}与tid={}与formash={}成功，开始自动评分".format(pid, tid, formash))
            # 开始评分
            url_score = 'https://bbs.125.la/forum.php?mod=misc&action=rate&ratesubmit=yes&infloat=yes&inajax=1'
            data = 'formhash=' + formash + '&tid=' + tid + '&pid=' + pid + '&referer=https%3A%2F%2Fbbs.125.la%2Fforum.php%3Fmod%3Dviewthread%26tid%3D' + tid + '%26page%3D0%23pid' + pid + '&handlekey=rate&score4=%2B1&reason=%E6%84%9F%E8%B0%A2%E5%88%86%E4%BA%AB%EF%BC%8C%E5%BE%88%E7%BB%99%E5%8A%9B%EF%BC%81%7E'
            headers['Content-Type'] = 'application/x-www-form-urlencoded'
            headers['Referer'] = 'https://bbs.125.la/thread-14720892-1-1.html'

            rep_score = session.post(url=url_score, data=data, headers=headers) #开始评分请求,rep_score是评分返回的源码

            rep_score_result=rep_score.status_code # 200表示评分成功
            if rep_score_result==200:
                print("评分推送成功,任务:{}".format(i))
            else:
                print("评分推送失败,任务:{}".format(i))


            score_message=re.findall(r'CDATA\[(.*)<scrip', rep_score.text)[0]
            result = re.search(r'class="showmenu">积分: (\d+)</a>', rep.text)
            if result:
                number = result.group(1)  # 提取匹配到的数字部分
                print("评分反馈:{},积分:{}".format(score_message,number))
            else:
                number=-1
                print("未找到匹配的内容,积分:{}".format(number))

            time.sleep(2)
            error_limit = rep_score.text.find("超过限制")
            if error_limit != -1:
                print("已经完成评分次数{},24小时评分数超过限制,退出".format(i))
                break;
        else:
            print('进入帖子失败')


if __name__ == '__main__':
    dailyTask()
    print("执行完毕~")

后续优化

青龙面板+pushplus微信通知~~

总结

大家喜欢的话，给个👍，点个关注！给大家分享更多计算机专业学生的求学之路！

版权声明：

发现你走远了@mzh原创作品，转载必须标注原文链接

Copyright 2023 mzh

Crated：2023-3-1

欢迎关注 『python爬虫』 专栏，持续更新中
欢迎关注 『python爬虫』 专栏，持续更新中
『未完待续』

发现你走远了
关注
  • 23
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
易语言-精易论坛POST登录及签到
06-26
精易论坛POST登录及签到源码
全自动一键签到v1.0小工具
爱酷码的博客
12-21 1582
开发介绍： 一键签到是什么？ 故名思议，是一款针对论坛/网站等自动签到的工具；在论坛上已经有多款签到工具了， 为什么我还写一款这样的程序呢？一键签到拥有“自供自足”功能~什么是“自供自足”呢？ 所谓的“自供自足”功能，实际就是可以自由创建模板，创建属于自己签到，可以自由生成签到，Nice~ 自己需要什么武器就自己造，自己就是将拥有最强大的武器库！ 软件采用易语言与Sqlite3数据库（请妥善保存好软件目录下的Sign.db文件，里面含有模板与Cookie数据） 完全本地程序，无任何联网行为..
魔法签到，一触即达——“米游社辅助签到”项目详解
gitblog_00051的博客
06-16 384
魔法签到，一触即达——“米游社辅助签到”项目详解 项目地址:https://gitcode.com/Womsxd/MihoyoBBSTools 在这个快节奏的时代，每一个细节都值得我们优化。“米游社辅助签到”，一个基于Python的强大工具，旨在简化你在米游社的日常签到流程。无论是自动获取米游币，还是轻松搞定《崩坏3》《未定事件簿》《原神》等游戏的签到，这个项目都能帮你一手掌握。 技术分析：精密设...
2023 MT论坛每日自动签到PHP接口脚本开源代码
08-04 613
随手写了一个单个PHP实现MT论坛每日自动签到的脚本，并将其开源无加密。这个脚本适用于MT论坛的每日自动签到，实现方式是使用PHP+formhash和cookie参数。在论坛签到页的源代码中搜索formhash来获取formhash参数，在开发者工具的网页请求标头中获取cookie参数。使用这个脚本非常简单，适用于虚拟主机和宝塔面板。2.如果不确定更换设备登录之前的cookie是否会过期，可以联系我获取更新版本。4，在宝塔面板上添加计划任务，设置每日定时访问PHP文件的链接地址。
青龙面板精易论坛签到脚本
qq977352880的博客
02-28 2248
青龙面板精易论坛签到脚本
基于SpringBoot、Docker和阿里云的稀土掘金社区自动签到与自动抽奖脚本：设计、开发与部署实践
weixin_48278764的博客
02-12 582
基于SpringBoot、Docker和阿里云的稀土掘金社区自动签到与自动抽奖脚本：设计、开发与部署实践
python+selenium 30秒内自动完成论坛每日签到
weixin_44331401的博客
05-27 1855
文章目录最终项目目标目标分解１.安装selenium２.下载chromedriver３.例程－自动访问百度输入关键词并搜索4.定位论坛的元素论坛自动签到的源代码 最终项目目标 在网上学习技术时，我们经常会加入各种论坛，论坛通常会设置每日签到来给予积分等奖励。鉴于python的强大，编写一个python脚本实现论坛自动签到（以鱼C论坛为例） 目标分解 １.安装selenium 直接使用pip安装selenium pip install selenium ２.下载chromedriver 注意 ：chrome
Python爬虫工具requests-html使用解析
09-16
### Python爬虫工具requests-html使用解析 #### 一、引言 在当今互联网时代，数据爬取成为了一项重要的技能。对于Python开发者来说，`requests` 已经成为了处理HTTP请求的标准库。随着网络结构变得越来越复杂，原有...
python+requests+pytest 接口自动化框架(1-4)
06-02
python+requests+pytest 接口自动化框架 1 pytest插件，运行规则以及参数，pytest.ini配置文 件，跳过用例，用例执行顺序，夹具等 2 Fixture固件，contest.py，断言以及Allure报告生成 3 Pytest测试框架之Allure报告...
python爬虫-爬虫项目实战之知乎爬虫+断点续爬尝试.zip
03-07
在这个名为"python爬虫-爬虫项目实战之知乎爬虫+断点续爬尝试.zip"的压缩包中，包含了一个具体的实战项目，旨在教授如何利用Python编写爬虫来抓取和处理知乎网站上的数据，并实现断点续爬功能。下面将详细讲解这个...
Python爬虫超级大神班-requests进阶-初识反爬- Scrapy处理翻页与实现模拟登录
最新发布
08-03
01-Python基础 6.9 Scrapy处理翻页与实现模拟登录1 .mp4 817.6MB 6.8 Scrapy实战案例一1 .mp4 694.7MB 6.7 Scrapy基本使用入门 .mp4 1.9GB 6.6 MongoDB讲解 .mp4 2.6GB 6.5 mysql数据库讲解 .mp4 2.8GB 6.4 ...
2345旗下积分联盟首页源码
02-12
2345积分联盟是面对全国电脑主机系统维护、网吧模式、电脑城装机 家庭与企业电脑日常维护等设置专属的推广2345网址导航大全为首页奖励积分换取现金、手机话费、游戏点卡、腾讯Q币、各类电脑维修工具、家用电器等 是国内最可靠地联盟平台
（已更新）易打卡模板微信签到打卡小程序源码在线下载
05-07
易打卡模板微信签到打卡小程序源码 支持新建打卡任务等等
COOKIE保存密码
02-17
一个关于 客户端密码保存的问题，让大家对虚拟世界有更深入的安全意识
易语言-易语言QQ群签到
06-26
易语言QQ群签到源码，源码调用了精易模块。
python+unittest+requests实现接口自动化的方法
09-19
### Python + Unittest + Requests 实现接口自动化详解 在当今快速发展的软件开发领域，接口自动化测试已成为确保系统稳定性和质量的重要手段之一。Python作为一种简洁易学的语言，搭配强大的测试框架如Unittest...
青龙面板 精易论坛签到脚本
qingge20的博客
01-18 5502
第一步 购买云服务器 个人推荐阿里云服务器 1核2G即可 搞活动一年一百来块钱 系统选择CentOs 7 等待配置完成。 精易签到 body 里面修改Form Data 值 浏览抓包修改COOKIE
【python】模拟登录并签到
weixin_48750761的博客
03-14 454
在运行脚本时需要下载一个chromedriver.exe，下载地址为（注意根据自己的谷歌浏览器的版本来下载）：http://npm.taobao.org/mirrors/chromedriver/小白学了python后，天天逛BBS,看着BBS签到,就依葫芦画起瓢来了，试着写了个自动签到的脚本，大神勿喷。首先还是下载它selenium，在命令行安装它。1、网页元素定位很重要，定位错了，就跑不起了。博主，按下面这篇文章方法进行定位。脚本运行成功后，没有退出，下次再优化吧。2、时间延时要把握好。
论坛自动签到教程
Vastsa的博客
04-24 4834
论坛自动签到教程 Lan 2020-04-24 17:19 392 人阅读 0 条评论 为了方便且于是自己搭建了一个论坛，bbs.lanol.cn其他论坛也都是一个原理方法很简单大致流程：1，抓取签到的那个包，这一步直接使用浏览...
python爬虫实例教程-代码
12-12
Python爬虫实例教程-代码，是一个指导如何使用Python编写爬虫的教程。下面我将用300字中文来回答这个问题。 这个教程的代码示例主要分为以下几个部分。 第一部分是爬虫的准备工作，包括安装Python和相关的第三方库，如requests、BeautifulSoup等。首先需要安装Python，并配置好相关环境变量。然后使用pip安装requests和BeautifulSoup库，这两个库是编写爬虫时常用的工具。 第二部分是使用requests库发送网络请求，获取网页的HTML源代码。首先需要导入requests库，然后使用get方法发送网络请求，传入要爬取的网页地址。之后可以通过response对象的text属性获取网页的HTML源代码。 第三部分是使用BeautifulSoup库解析HTML源代码，提取出需要的数据。首先需要导入BeautifulSoup库，然后将HTML源代码作为参数传入BeautifulSoup类的构造函数。之后可以使用BeautifulSoup对象的find、findAll等方法，根据HTML标签和属性来提取出需要的数据。 第四部分是保存爬取的数据。可以使用Python自带的文件操作函数，如open、write等，将爬取的数据保存到本地文件中。 最后，还可以通过循环、条件判断等控制结构，以及其他的Python编程技巧，对爬虫代码进行更加复杂的处理和优化。 总的来说，Python爬虫实例教程-代码提供了一个从安装环境到写爬虫代码的全过程。通过学习这些代码示例，可以掌握如何使用Python编写爬虫，以及一些常用的爬虫技巧和工具的使用。希望以上回答可以帮助到你。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

发现你走远了

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值