每日信息报送的底层逻辑

已于 2023-08-26 21:03:35 修改
阅读量8.1k 收藏 43
点赞数 37
分类专栏： ★ 工程实战 # ——【 Python 自动化 】 文章标签： python
于 2020-03-18 14:02:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/deng_xj/article/details/104853830
版权
打卡步骤梳理：
  1. 登录账号
  2. 获取定位
  3. 点击“报送”
  4. 收到服务器“提交信息成功”状态响应

基于上述分析，模拟每日打卡任务报送的思路有二，其一直接用 selenium 模拟浏览器操作实现动态HTML处理，实现报送，逻辑较为简单，随手一打，未测试，仅供参考。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions
from selenium.common.exceptions import TimeoutException, WebDriverException
from time import sleep
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
zhanghao = ""
mima = ""
chrome_options = Options()
driver = webdriver.Chrome()
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.get('https://app.cupl.edu.cn/ncov/wap/default/index')
wait = WebDriverWait(browser,10,0.5)
account = WebDriverWait(browser, 20).until(expected_conditions.visibility_of_element_located((By.XPATH, '//*[@id="app"]/div[2]/div[1]/input')))\
    .send_keys(zhanghao)
password = browser.find_element_by_xpath('//*[@id="app"]/div[2]/div[2]/input').send_keys(mima)
sign_in = browser.find_element_by_class_name('btn').click()
wait.until(EC.visibility_of_element_located((By.XPATH,'/html/body/div[1]/div/div/section/div[4]/ul/li[7]/div/input'))).click()
sleep(3)
browser.find_element_by_xpath('/html/body/div[1]/div/div/section/div[5]/div/a').click()
sleep(1)
browser.find_element_by_xpath('//*[@id="wapcf"]/div/div[2]/div[2]').click()
sleep(1)
browser.close()
browser.quit()

上述方法复线起来很简单，但弊端很明显：

  • 其一，上述方法需要chromedriver.exe等环境依赖，体积大，运行慢，不便封装；
  • 其二，需要明文存储账户信息，安全性不可靠；
  • 其三，每次报送需定位，过程慢，容错率低，且不支持异地主机自动化处理；
  • 其四，除非每日手动开启，不易监听报送结果。

相比，第二个实现方案能够很好解决上述问题：即 不再依赖可视化的前端操作，根据数据特征直接封装有效的post包发至目标服务器，实现信息报送，并监听服务器响应，通过邮件接受报送结果。

实现方法如下:

一、抓包与析包
（1）登陆账号验证cookie值有效期

在这里插入图片描述
在这里插入图片描述

（2）定位post请求与header头

在这里插入图片描述
在这里插入图片描述

（3）解析post包报文内容

在这里插入图片描述
经过报文分析，确定变量有3，分别是 created、date 以及 id
在这里插入图片描述
其中date 容易理解，进一步回到前端分析 created 和 id

在这里插入图片描述

分析后认为，created_uid 与 created 具有函数关系，id 应该是根据时间戳产生，id 与 created 每日变化且相互关联，但一组 id 与 created 不可复用。

同时我发现，每次页面载入 GET 数据库信息后将通过声明 def变量的形式体现在源码中。

基于上述分析，直接尝试组装数据包并发送 ————> 提交成功。

在这里插入图片描述

二、实现信息报送的自动化

在明白原理后，原本复杂的问题就已经迎刃而解了。先梳理清楚操作步骤和目标，并引入相关环境变量：

  1. 获取 created、date 以及 id 的值；
  2. 拼接 post 包
  3. 发包
  4. 获取服务器状态响应
  5. 每日邮件提醒响应内容
  6. 定时任务，每日自动运行
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import requests
import urllib.request
import urllib.parse
import re
import smtplib
from email.mime.text import MIMEText
from email.utils import formataddr
（1）获取 created、date 以及 id 的值

前面我们已经发现，每次页面载入 GET 数据库信息后将通过声明 def变量的形式体现在源码中，那就直接用正则表达式截取内容：

首先，created、date 以及 id 的值只有在登陆后才能获取，因此获取网页源码时需要带上 Cookie 值和必要的请求头。

url = 'https://app.cupl.edu.cn/ncov/wap/default/index'

headers = {
    'GET https': '//app.cupl.edu.cn/ncov/wap/default/index HTTP/1.1',
    'Host': ' app.cupl.edu.cn',
    'Connection': ' keep-alive',
    'Upgrade-Insecure-Requests': ' 1',
    'User-Agent': ' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
    'Accept': ' text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Referer':' https://app.cupl.edu.cn/ncov/wap/default/index',
    'Accept-Language': ' zh-CN,zh;q=0.9',
    'Cookie': 'Hm_lvt_48b682d4885d22a90111e46b...',
}
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
main = response.read().decode(encoding='UTF-8',errors='strict')

其次，上正则表达式，注意created、 id 与 date 间存在格式差异！！！

reg_id = r'"id":[\d]+'
reg_created = r'"created":[\d]+'
reg_date = r'"date":"[\d]+"'

reg_ques_id = re.compile(reg_id)
reg_ques_created = re.compile(reg_created)
reg_ques_date = re.compile(reg_date)

queslist_id = reg_ques_id.findall(main)
queslist_created = reg_ques_created.findall(main)
queslist_date = reg_ques_date.findall(main)

分别看一下返回结果：

#print(queslist_id)
#print(queslist_created)
#print(queslist_date)

在这里插入图片描述
我们可以看到，返回的数据类型是 <class ‘list’>，提取created、date 以及 id 的值，首先要将列表转化成 str，再行截取。

new_id = str(queslist_id[0])[5:11]
#print(new_id)

new_created = str(queslist_created[0])[10:20]
#print(new_created)

new_date = str(queslist_date[0])[8:16]
#print(new_date)

在这里插入图片描述

（2）拼接 post 包、发包、收包
new_body = "ismoved=0&j······&created="+new_created+"&date="+new_date+"&id="+new_id+"&gwszdd=&sfyqjzgc=&jcqzrq=&sfjcqz=&jrsfqzys=&jrsfqzfy=&sfsqhzjkk=&sqhzjkkys="

headers = {
    "Host": "app.cupl.edu.cn",
    "Connection": "keep-alive",
    "Accept": "application/json, text/javascript, */*; q=0.01",
    "Origin": "https://app.cupl.edu.cn",
    "X-Requested-With": "XMLHttpRequest",
    "Sec-Fetch-Dest": "empty",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36",
    "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
    "Sec-Fetch-Site": "same-origin",
    "Sec-Fetch-Mode": "cors",
    "Referer": "https://app.cupl.edu.cn/ncov/wap/default/index",
    "Accept-Encoding": "gzip, deflate, br",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Cookie": "Hm_l······47797"
}
data = new_body
url2 = 'https://app.cupl.edu.cn/ncov/wap/default/save'
resp = requests.post(url2, headers=headers,data=data, allow_redirects=True)
# 获取服务器状态响应
print (resp.text)

在这里插入图片描述

这里回显内容分别为created、 id、 date 的值；拼接后完整的body； 以及服务器响应状态，可以看到信息已提交成功。

在这里插入图片描述

（3）报送情况监听

全自动化的信息报送是否每天都有正常运行是自动化报送中需要关注的问题，这里选择通过简单邮件传输协议方式监听报送结果。

my_sender = '···'  # 发件人邮箱账号
my_pass = '···'  # 发件人邮箱密码
my_user = '···'  # 收件人邮箱账号，我这边发送给自己

def mail():
    ret = True
    try:
        msg = MIMEText('每日信息报送情况：'+resp.text, 'plain', 'utf-8')
        msg['From'] = formataddr(["···", my_sender])  # 括号里的对应发件人邮箱昵称、发件人邮箱账号
        msg['To'] = formataddr(["···", my_user])  # 括号里的对应收件人邮箱昵称、收件人邮箱账号
        msg['Subject'] = "每日信息报送情况："+resp.text  # 邮件的主题，也可以说是标题

        server = smtplib.SMTP_SSL("smtp.qq.com", 465)  # 发件人邮箱中的SMTP服务器，端口是25
        server.login(my_sender, my_pass)  # 括号中对应的是发件人邮箱账号、邮箱密码
        server.sendmail(my_sender, [my_user, ], msg.as_string())  # 括号中对应的是发件人邮箱账号、收件人邮箱账号、发送邮件
        server.quit()  # 关闭连接
    except Exception:  # 如果 try 中的语句没有执行，则会执行下面的 ret=False
        ret = False
    return ret

ret = mail()
if ret:
    print("邮件发送成功")
else:
    print("邮件发送失败")

在这里插入图片描述
在这里插入图片描述

（4）设置定时任务，每日自动执行

考虑到计算机开机的不定期性以及局域网小型服务器面临的断电风险，我选择将程序放置我自己的公网服务器上运行，这里以Linux服务器定时任务为例：

  • 检查服务器时间是否同步：
date -R

在这里插入图片描述

# 使用crontab新建定时任务：
crontab -e

usage:  crontab [-u user] file
        crontab [-u user] [ -e | -l | -r ]
                (default operation is replace, per 1003.2)
        -e      (edit user's crontab)
        -l      (list user's crontab)
        -r      (delete user's crontab)
        -i      (prompt before deleting user's crontab)
        -s      (selinux context)

在这里插入图片描述
设置每天00：01分自动签到，> /dev/null 2>&1目的在于拒收程序指定时间执行后系统自动寄送的信件。

* * * * * /root/rats.sh   #前5个*指时间，后面为命令

分钟：0-59
小时：1-23
日期：1-31
月份：1-12
星期：0-6（0表示周日）

*： 表示任何时刻
,：　表示分割
－：表示一个段，如：1-5，就表示1到5点
/n : 表示每个n的单位执行一次，如：*/1, 就表示每隔1个小时执行一次命令。也可以写成1-23/1

1.注意环境变量问题，例如crontab不能识别Java的环境变量，所以在编写shell时，最好使用export重新声明变量，确保脚本执行。 
2.命令的执行最好用脚本
3.脚本权限加/bin/sh，规范路径/server/scripts
4.时间变量用反斜线转义，最好用脚本
5.定时任务添加注释
6.>/dev/null 2>&1   ==>&>/dev/null,别随意打印日志文件
7.定时任务里面的程序脚本尽量用全路径
8.避免不必要的程序以及命令输出
9.定时任务之前添加注释
10.打包到文件目录的上一级

#定时任务设置举例：
43 21 * * *   #21:43 执行
15 05 * * *   #05:15 执行
0 17 * * *    #17:00 执行
0 17 * * 1    #每周一的17:00 执行
0,10 17 * * 0,2,3    #每周日,周二,周三的17:00和17:10 执行
0-10 17 1 * *    #毎月1日从17:00到7:10毎隔1分钟 执行
0 0 1,15 * 1    #毎月1日和15日和一日的0:00 执行
42 4 1 * *   #毎月1日的4:42分 执行
0 21 * * 1-6   #周一到周六21:00 执行
0,10,20,30,40,50 * * * *　  #每隔10分 执行
*/10 * * * *   #每隔10分 执行
* 1 * * *   #从1:0到1:59每隔1分钟 执行
0 1 * * *   #1:00 执行
0 */1 * * *   #毎时0分每隔1小时 执行
0 * * * *   #毎时0分 执行
2 8-20/3 * * *   #8:02,11:02,14:02,17:02,20:02 执行
30 5 1,15 * *   #1日和15日的5:30 执行

在这里插入图片描述
经测试，运行正常：

在这里插入图片描述

在这里插入图片描述

如果您有任何疑问或者好的建议，期待你的留言与评论！

邓大帅
关注
专栏目录
银行信息系统应用架构导论-引用
银行信息系统应用架构导论
03-14 2232
已发布金融国家标准目录（截止2024年3月）已发布的金融行业标准目录（截止2024年3月） 人民银行现行有效的规章目录（截至2021年4月16日 ） 人民银行主要规范性文件目录（更新至2021年8月22日）
中国银行信息系统应用架构发展历程
最新发布
银行信息系统应用架构导论
03-18 2171
概述：从 20 世纪 80 年代开始至今，我国银行业信息化历程已 有四十年历史。虽然相对于发达国家来讲，我国银行业务信 息化起步较晚，但发展速度很快， 目前我国一些大型商业银行的信息化程度已经处于全球领先水平。“银行信息系统”是指银行为实现银行业务处理自动 化、银行服务电子化、银行管理信息化和银行决策科学化， 通过采用计算机技术、通信技术、网络技术等现代化技术手 段，改造银行业传统的作业方式，建立起集业务处理、信息 管理和经营决策为一体的银行 IT 系统。银行业 IT 的发展是 整个信息技术领域发展的一个缩
每日自动上报程序
桃李湖畔的墨客
08-23 1520
哈尔滨某工业大学每日自动上报脚本 为了便于在校同学每日上报，从github 上找到一大佬的自动上报脚本，特放置于此。 脚本安装的条件 需要利用Ubuntu系统 需要安装chromedriver 需要在脚本中个人的学号与密码 安装 chromedriver pip install selenium 将 chromedriver 的安装路径进行替换 具体的脚本代码[^1] everyday_update.py import os from time import sleep from selenium i
HIT每日自动上报
7K7K163的博客
04-04 735
HIT-reporter 基于Quantumult X的HIT每日上报脚本 2020.4.4 不确定Cookie可用时长，后面可能会更新 配置 (QuanX) [MITM] xg.hit.edu.cn [rewrite_local] //Cookie获取js ^https:\/\/xg\.hit\.edu\.cn\/zhxy-xgzs\/xg_mobile\/xsHome$ url script-request-header https://raw.githubusercontent.com/7k
auto-report:哈小深每日自动上报
03-25
自动报告 自动为HITSZ学生提供每日报告。 用法 报告一次 高朗 go run main.go -u your-studentID -p your-password -e your-email 码头工人 docker run --rm rocketeerli/auto-report -u your-studentID -p your-password -e your-email 每日自动报告 Crontab 您需要一台服务器。 调整您的本地时区。 timedatectl set-timezone " Asia/Shanghai " 使用crontab -e并添加以下行： 15 8 * * * curl -L -o /tmp/auto-report https://github.com/hstable/auto-report/releases/latest/download/aut
青岛农业大学基于python的自动化每日信息上报
m0_45937737的博客
03-08 1316
文章目录前言一、需要安装什么软件？二、代码准备1.fiddler抓取token请求2.fiddler抓包去上报请求3.代码准备4.部署到服务器上总结 前言 本文仅供技术交流，如果只想查看代码请移步目录中3.代码准备中的总和代码部分！ 一、需要安装什么软件？ win10系统下需要安装fiddler、python、requests库，附上链接： fiddler安装 python安装 接下来安装requests库，打开cmd 输入命令 pip install -i https://mirrors.ali
信息管理系统小demo
08-21
Hibernate是一个对象关系映射（ORM）框架，它将Java对象与数据库表进行映射，使得开发者可以以面向对象的方式来操作数据库，而无需关心底层的SQL语句。在本项目中，Hibernate负责实体类与Oracle数据库之间的数据交互...
智慧电厂信息系统设计方案（下）
2301_76549664的博客
04-03 3926
资产管理部分 设备管理系统 目标 实现设备管理的科学化,保证设备能够保持一流的运行性能，在保证安全发电的前提下，进一步降低发电成本，获得最大利润和回报，确保资产物尽其用，尽可能缩短设备停机时间；降低操作维护成本，改善设备可靠性，建立成熟的故障跟踪，不断提高设备健康水平，最大限度减少设备故障停机；使有关人员及时、准确地了解电厂设备的静态及动态信息，以便根据实际生产需要，对设备现状、检修工作计划、备品备件库存量做出必要的调整，确保发电设备安全经济运行，并获得更高的设备运行安全性。 功能
信息系统项目管理师-案例分析专题(一)案例简介、答题方法、要点笔记
BADAO_LIUMANG_QIZHI的博客
06-22 1192
案例分析简介 高级考试案例分析3道题，时间90分钟，平均每道题花30分钟时间，时间相对而言还 是比较充裕的的(中级4题，150分钟，时间宽裕) 对于案例分析其实真心不难，案例分析如果要卡人，主要通过计算题去卡，计算题没 问题，案例分析基本能过。 一般情况下案例分析分为五种题型: 1、问答题(找错、改错、改进提升) 2、计算题 3、分析题 4、理论题 5、填空、选择、判断题 对待案例分析其实就是根据背景找问题，然后针对找出来的问题去解决问题，那么怎 么...
全自动化一体公务上报软件.exe
06-18
自动化报公务小程序。完全实现无人看管，全自动上报。语音提示
利用云服务器实现自动化(自动上报)
Franklins_Fan的博客
07-16 1393
谁还不是一条懒狗呢?
某高校每日上报
awslawsl111的博客
05-07 495
前言 疫情期间学校要每日上报嘛，虽然正常但经常忘记还要麻烦别人提醒，但由于是个萌新不会一直咕咕咕。终于又经过一次被提醒还有事没看见，终于下定了决心开始，果然懒才是第一生产力。 工具 python 3； 抓包工具 fiddler ； 浏览器，本人用的EDGE。 依赖包 requests 强调文本 强调文本 加粗文本 加粗文本 标记文本 删除文本 引用文本 H2O is是液体。 210 运算结...
上海大学每日一报自动填报小程序-2023版
law的博客
12-05 1288
本软件是基于上海大学健康之路网页及自动填报脚本包装而成的安卓程序（大小仅4M）。无需任何代码知识，只需点击打开app，即可快速自动填报、连续补报。本软件仅支持安卓系统，苹果ios用户可尝试使用另一位同学编写的捷径（github搜索）或通过window11安卓子系统安装并设置定时启动app打卡（详细方法见下方window11定时打卡设置）。
企业微信每日定时自动上报
intmain_S的博客
12-22 7476
感谢：健康天天报（企业微信）安卓2021.4.2_后端张学长的博客-CSDN博客_企业微信健康天天报 提供的支持与帮助 auto.js开源地址：主页 | Auto.js GitHub - hyb1996/Auto.js: A UiAutomator on android, does not need root access(安卓平台上的JavaScript自动化工具) device.wakeUp() setScreenMetrics(1080, 2244) swipe(166,2100,170,.
[python网络应用]用python帮你实现疫情自动填报（第一期，目前实现半自动，实现全自动会继续更新）（西北工业大学-翱翔门户疫情填报）
sbsbsb666666的博客
12-07 3600
其实就是一个python的浏览器自动操作示例(我删除了所有可能涉及到的敏感信息哈，注意这个填写你的账号和密码保存后不要被他人看到)
写了个自动化脚本，每日更新疫情数据
小一的博客
02-15 4405
2020，努力做一个无可替代的人！ 写在前面的话 先说明一下，这是一篇爬虫+分析+自动化的文章，并不是上节说到的 NumPy 系列文章，NumPy 系列请期待下节内容。 这篇实战文章也属于心血来潮吧，简单说一下： 小一我自从疫情发生了之后，每天早上第一件事就是关注微博热搜里面关于各地确诊人数的新闻，不得不说，确实很牵动人心，前几天的突增1w+，有点害怕，还好这几天降下来了。 最近几天...
python+selenium 实现自动化交互
wjl_zyl_1314的博客
06-30 3951
0.前言 疫情如此严峻，学校也每日监督每个学生去打卡，可能由于某天因为事情耽搁了，导员在大群里@我的时候就很尴尬，就想着学习一下如何实现自动打卡。也在网上找了很多博客，发现好像都很复杂，也难以入手。没得办法最后只得硬挑一个博客去看去学习。 在过程中也发现基本上是两种方法去实现自动打卡的： 模拟客户端向服务端直接发送报文 利用浏览器驱动去模仿人操作浏览器去填报 个人觉得第二个方法简单一点，所需知识也不多（真正大佬请忽略）。 1.安装python和selenium以及浏览器驱动（chrome为例） 1.1安
自动填写疫情通脚本
黑鹿的博客
06-21 1662
自动填写疫情通脚本 分析填报疫情通过程 首先在微信链接中选择用默认浏览器打开(这里使用的是edge浏览器),会发现页面重定向到一个登录页面. 尝试输入账号密码后点开F12查看请求头,发现会将表单post到"https://xxcapp.xidian.edu.cn/uc/wap/login/check"这个URL进行处理. 然后就会跳转到填写疫情通的页面,最后将请求头复制下来,将数据表单post到对应的url即可完成 代码编写 整个过程分为两次Post请求,第一次请求拿到cookies,第二次请求将表单上传,
评论 34
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

邓大帅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值