关于Python动态网页爬取的实践记录

已于 2022-08-10 18:45:59 修改
阅读量1.4k 收藏 5
点赞数 1
分类专栏： Python学习 文章标签： python 爬虫 linux
于 2021-03-27 23:12:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35764528/article/details/115252091
版权

文章目录

一、前言

最初了解到爬虫是在一个机缘巧合之下，当时觉得很神奇、挺有意思，然后就主动了解，从最开始的静态网页，到动态加载网页，从requests到selenium，再回到requests（尝试分析动态网页json）。本文用来记录我在学习过程中的一些心得体会。

本文主要记录我的第一个实际应用意义的爬虫的开发经历与其中的一些心得体会

二、开发背景

目前国内疫情没有完全平息，各大企事业单位、高校等仍然坚持实行每日健康打卡制度。本人目前为某大学本科生，同时作为一班之长，肩负着提醒班上同学打卡的义务（提醒班上每位同学做好每人健康打卡登记）。然而每天总是去催他们打卡，总是会招人厌烦，而每天健康打卡情况是通过网页进行公示的。于是我便想到使用Python爬虫爬取未打卡人员信息，然后通过程序去提醒这些人，说干就干。

三、需求分析

  • 1.爬虫爬取网页未打卡人员信息
  • 2.信息关联邮箱地址，通过邮件提醒（Python邮件模块）
  • 3.信息中包含手机号等信息，使用短信提醒（云短信模块￥￥）
  • 4.作为班长，我需要知道每天同学的打卡情况（情况汇总）
  • 4.程序需要持续运行，每天固定时间开始提醒

四、开发经历

整个程序的开发大概经历了好几个阶段，我大概叙述一下。

1.requests直接获取网页数据

由于我是初次了解爬虫并独立开发，所以一开始不太了解动态网页机制，将网页当做静态网页直接处理，在网页还未加载完成时就直接获取了网站源码，因此不能获取到同学信息，只看到了正在加载的提示。于是我便想到如何让网页加载完全后再提取网页源码，此时便能在源码中找到人员信息。于是进入第二阶段。

2.selenium操作web浏览器模拟点击

通过搜索处理动态网页的工具，我找到了selenium，能够操作浏览器打开网页、在网页加载完成后进行操作、屏幕截图等。
我使用它成功取得了同学的信息，通过SMTP进行邮件的发送，提醒同学打卡。通过注册云短信平台，使用短信发送接口发送提醒短信。对结果进行截图，然后发送给我自己的邮箱，每天可以查看打卡情况，这是1.0版本。
同时，我使用PyQt5进行界面设计，能够良好显示运行日志等信息，然而，这个程序只能在Window10的系统上运行，并且运行过程中需要占用大量的内存和CPU算力（需要操作浏览器），导致我在云端部署程序时，需要性能更优秀的机器，导致需要花费更多的￥。我决心改进程序，因此2.0版本诞生了。。。

3.requests请求后台数据

通过分析网页的请求数据，我发现在网页的后台数据是通过请求特定的网页产生的
后台数据

然而，我直接请求这个网页却显示未登录，而非之前看到的数据
显示未登录

接着发现了每次请求的cookie是动态变化的，我的处理方法是，每次先请求一次主网页链接，从当前网页中获取cookie数据，添加到数据请求链接的请求头中

url1 = '主请求地址'
url2 = "数据请求地址"
session = requests.session()
# 首次进入，获取随机Cookie
r = session.get(url1)
cookie = r.cookies.values()[0]
header = {
    'Cookie': 'JSESSIONID=' + cookie
}
response = session.post(url=url2, headers=header)

然后得到了下图这样的情况
没有数据

并没能获得数据，得到了空的回应
原来是正常的post请求携带了json数据，修改代码，在请求中添加json数据

# jsons = {"bmid": "'4007013'", "cxsj": date, "cxbmjb": "3", "cxlx": "0"}

# 修改后的代码
url1 = '主请求地址'
url2 = "数据请求地址"
# 请求携带json数据
jsons = {"bmid": "'4007013'", "cxsj": "xxxx-xx-xx", "cxbmjb": "3", "cxlx": "0"}

session = requests.session()
# 首次进入，获取随机Cookie
r = session.get(url1)
cookie = r.cookies.values()[0]
header = {
    'Cookie': 'JSESSIONID=' + cookie
}

response = session.post(url=url2, json=jsons, headers=header)
# 未打卡人员信息
data = json.loads(response.text)['data']
print(data)

至此，就能完整获取请求数据了yes！
在这里插入图片描述

五、遇到的问题

在程序设计过程中遇到的问题，其实主要出在Windows程序移植到Linux的过程中。程序在Windows系统下编写完成，上传到阿里云轻量级服务器中运行，遇到的问题大概有以下几点：

  • 1.Windows程序移植到Linux后，出现了编码异常的问题，导致中文字符不能正常显示读取等，为Unicode编码形式。
  • 2.阿里云服务器的25端口被禁用，无法使用该端口发送邮件
  • 3.邮件发送容易失败，发送邮件响应慢

具体问题下一篇博文分析。。。。

六、代码分享

Auto_seek.py（程序主体）

# encoding: utf-8
import datetime
import json
import pathlib
import smtplib
from email.mime.application import MIMEApplication
from email.mime.multipart import MIMEMultipart
from email.mime.text import MIMEText
from time import sleep
import requests

ADMIN_EMAIL = ''  # 设置管理员邮箱账号，接收汇总情况
ADMIN_TEL = ''  # 管理员手机号，接受短信提醒
LOG_FILE = 'auto_seek.log'  # 运行日志文件


def send_mail(recv, title, content, file=None):
    """
    发送邮件函数，默认使用163smtp
    :param content: 正文
    :param recv: 邮箱接收人地址，多个账号以逗号隔开
    :param title: 邮件标题
    :param file: 附件
    :return:
    """
    # localtime = time.localtime(time.time())
    # date = '%d-%02d-%02d' % (localtime.tm_year, localtime.tm_mon, localtime.tm_mday)
    # now_time = ' %02d:%02d' % (localtime.tm_hour, localtime.tm_min)
    # detail_time = date + now_time
    now = datetime.datetime.now()
    detail_time = now.strftime('%Y-%m-%d %H:%M:%S')

    username = '@qq.com'  # 邮箱账号
    passwd = ''  # 邮箱密码
    recv = recv + '@qq.com'
    content = detail_time + content  # 加上时间戳
    mail_host = 'smtp.qq.com'  # 邮箱服务器
    port = 465  # 端口号

    file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
    file_handle.writelines(detail_time + '\n发送给' + recv + title + ' 正在进行\n')
    file_handle.writelines('——————————————————\n')
    file_handle.close()
    print(detail_time + '\n发送给' + recv + title + ' 正在进行')
    print('——————————————————')

    if file:
        msg = MIMEMultipart()
        # 构建正文
        part_text = MIMEText(content)
        msg.attach(part_text)  # 把正文加到邮件体里面去

        # 构建邮件附件
        part_attach1 = MIMEApplication(open(file, 'rb').read())  # 打开附件
        part_attach1.add_header('Content-Disposition', 'attachment', filename=pathlib.Path(file).name)  # 为附件命名
        msg.attach(part_attach1)  # 添加附件
    else:
        msg = MIMEText(content)  # 邮件内容

    msg['Subject'] = title  # 邮件主题
    msg['From'] = username  # 发送者账号
    msg['To'] = recv  # 接收者账号列表

    count = 0
    while True:

        try:
            if count > 3:
                err_msm()
                break

            smtp = smtplib.SMTP_SSL(mail_host, port=port)
            smtp.connect(mail_host, port=port)
            smtp.login(username, passwd)  # 登录
            smtp.sendmail(username, recv, msg.as_string())
            # smtp.sendmail(username, recv, str(msg))
            smtp.quit()

        except (smtplib.SMTPException or TimeoutError) as err:
            now = datetime.datetime.now()
            detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
            file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
            file_handle.writelines(detail_time + '\n发送给' + recv + title + ' is failed\n')
            file_handle.writelines(str(err) + '\n')
            file_handle.writelines('——————————————————\n')
            file_handle.close()
            print(detail_time + '\n发送给' + recv + title + ' is failed')
            print(str(err) + '\n')
            print('——————————————————')
            sleep(3)
            count += 1
            continue

        now = datetime.datetime.now()
        detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
        file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
        file_handle.writelines(detail_time + '\n发送给' + recv + title + ' is succeed\n')
        file_handle.writelines('——————————————————\n')
        file_handle.close()
        print(detail_time + '\n发送给' + recv + title + ' is succeed')
        print('——————————————————')
        break


def email_tip(mark, data):
    mark['email_mark'] = False

    # 学生学号与邮箱联系方式一一对应
    stu_email = {
        
    }

    now = datetime.datetime.now()
    detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
    file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
    file_handle.writelines(detail_time + '\n开始邮件提醒\n')
    file_handle.writelines('——————————————————\n')
    file_handle.close()
    print(detail_time + "\n开始邮件提醒")
    print('——————————————————')

    if len(data):  # 存在未打卡学生
        for stu in data:
            if stu_email.get(stu['GH']):
                recv = stu_email.get(stu['GH'])
                title = '晚间健康打卡提醒'
                content = '\n[自动邮件，无需回复]\n今日你可能还未进行健康打卡，请注意时间，尽快打卡\n若已打卡，请忽略本条消息\n————软工1903班————'
                # if recv == '':
                send_mail(recv, title, content)
                # 发邮件提醒
    else:
        mark['msm_mark'] = False
        mark['loop_mark'] = False


def send_msm(params):  # 发短信接口
    import zhenzismsclient as smsclient
    # client = smsclient.ZhenziSmsClient(apiUrl, appId, appSecret);
    # apiUrl为请求地址，个人开发者使用https://sms_developer.zhenzikj.com，企业开发者使用https://sms.zhenzikj.com
    # appId：应用id，可通过用户中心，应用详情查看
    # appSecret: 应用秘钥，可通过用户中心，应用详情查看
    apiUrl = 'https://sms_developer.zhenzikj.com'
    appId = ''
    appSecret = ''
    client = smsclient.ZhenziSmsClient(apiUrl, appId, appSecret)

    # localtime = time.localtime(time.time())
    # date = '%d-%02d-%02d' % (localtime.tm_year, localtime.tm_mon, localtime.tm_mday)
    # now_time = ' %02d:%02d' % (localtime.tm_hour, localtime.tm_min)
    # detail_time = date + now_time
    now = datetime.datetime.now()
    detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
    file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
    file_handle.writelines(detail_time + '\n')
    str1 = '内容：' + ''.join(params.get('templateParams', '管理员提醒'))
    response = client.send(params)
    file_handle.writelines(str1 + response + '\n')
    file_handle.writelines('——————————————————\n')
    file_handle.close()
    print(detail_time + '\n' + str1 + response)
    print('——————————————————')


def msm_tip(mark, data):
    mark['msm_mark'] = False

    now = datetime.datetime.now()
    detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
    file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
    file_handle.writelines(detail_time + '\n开始短信提醒\n')
    file_handle.writelines('——————————————————\n')
    file_handle.close()
    print(detail_time + "\n开始短信提醒")
    print('——————————————————')

    if len(data):  # 存在未打卡学生
        for stu in data:  # 逐一遍历
            stu_name = stu['XM']  # 姓名
            stu_num = stu['GH']  # 学号
            stu_tel = stu['LXFS']  # 手机号
            now = datetime.datetime.now()
            date = now.strftime('%Y-%m-%d')
            detail_time = now.strftime(' %H:%M:%S')
            params = {'number': stu_tel,
                      'templateId': '3448',
                      'templateParams': [date, detail_time, stu_name, stu_num]
                      # 'templateParams': ['1', '1', '1']
                      }
            if stu_num != '18408010312':
                # if stu_num == '':
                send_msm(params)

    else:
        mark['loop_mark'] = False


def loop_tip(mark, data):
    now = datetime.datetime.now()
    detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
    file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
    file_handle.writelines(detail_time + '\n开始循环短信提醒\n')
    file_handle.writelines('——————————————————\n')
    file_handle.close()
    print(detail_time + "\n开始循环短信提醒")
    print('——————————————————')

    if len(data):  # 存在未打卡学生
        for stu in data:  # 逐一遍历
            stu_name = stu['XM']  # 姓名
            stu_num = stu['GH']  # 学号
            stu_tel = stu['LXFS']  # 手机号

            params = {'number': stu_tel,
                      'templateId': '3567',
                      'templateParams': [stu_name]
                      }
            if stu_num != '18408010312':
                # if stu_num == '':
                send_msm(params)
    else:
        mark['loop_mark'] = False


def err_msm():
    now = datetime.datetime.now()
    detail_time = now.strftime('%Y-%m-%d %H:%M:%S')

    file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
    file_handle.writelines(detail_time + '\n出现错误，停止运行\n')
    file_handle.writelines('——————————————————\n')
    file_handle.close()
    print(detail_time + '\n出现错误，请检查')
    print('——————————————————')

    # admin_recv = ''  # 设置管理员邮箱账号，接收汇总情况
    title = '自动打卡程序出错了'  # 汇总邮件内容
    content = "自动打卡程序出错了，请及时查看"
    send_mail(ADMIN_EMAIL, title, content, LOG_FILE)  # 发送错误报告邮件

    params = {'number': ADMIN_TEL,
              'templateId': '3468'
              }
    # self.send_error_msm(params)  # 发送错误报告短信
    send_msm(params)  # 发送错误报告短信

    file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
    file_handle.writelines(detail_time + '\n发送错误报告\n')
    file_handle.writelines('——————————————————\n')
    file_handle.close()
    print(detail_time + '\n发送错误报告')
    print('——————————————————')


def email_summary(data):
    now = datetime.datetime.now()
    detail_time = now.strftime('%Y-%m-%d %H:%M:%S')

    file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
    file_handle.writelines(detail_time + '\n发送汇总情况\n')
    file_handle.writelines('——————————————————\n')
    file_handle.close()
    print(detail_time + '\n发送汇总情况')
    print('——————————————————')

    recv = ADMIN_EMAIL
    title = now.strftime('%Y-%m-%d') + '打卡情况'
    if len(data):
        content = '今日未打卡人员（总' + str(len(data)) + '人):\n'
        content = content + "---------------------------------\n"
        content = content + "| 姓名 |  班级  |\n"
        content = content + "---------------------------------\n"
        for stu in data:
            content = content + '| ' + stu['XM'] + ' | ' + stu['SZXKS'] + ' |\n'
            content = content + '---------------------------------\n'
        # 发邮件提醒
        send_mail(recv, title, content)
    else:
        content = '今日已全部打卡完成\n'
        send_mail(recv, title, content)


def query(mark):
    now = datetime.datetime.now()
    delta = datetime.timedelta(days=1)
    date = (now + delta).strftime('%Y-%m-%d')
    url1 = 'http://ehallplatform.xust.edu.cn/default/jkdkgl/mobile/wsbrymx.jsp?uid' \
           '=NTE2RUQ4OTJGREJDRTMxRENFQjZDNEMwNTZBNDgxMjU=&cxsj=' + date + \
           '&cxlx=0&bmid=%274007013%27&bmjb=3'
    url2 = "http://ehallplatform.xust.edu.cn/default/jkdkgl/mobile/" \
           "com.primeton.eos.jkdkgl.WSBRYCX.CXWSBRY.biz.ext"
    jsons = {"bmid": "'4007013'", "cxsj": date, "cxbmjb": "3", "cxlx": "0"}
    # 记录重试次数
    count = 0
    while True:
        # 出错次数大于5退出运行并短信提醒
        if count > 5:
            now = datetime.datetime.now()
            detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
            file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
            file_handle.writelines(detail_time + '\n网页打开失败\n')
            file_handle.writelines('——————————————————\n')
            file_handle.close()
            print(detail_time + "\n网页打卡失败")
            print('——————————————————')
            err_msm()
            exit(0)

        try:
            session = requests.session()
            # 首次进入，获取随机Cookie
            r = session.get(url1)
            cookie = r.cookies.values()[0]
            header = {
                'Host': 'ehallplatform.xust.edu.cn',
                'Connection': 'keep-alive',
                'Content-Length': '64',
                'Accept': 'application/json, text/plain, */*',
                'Origin': 'http://ehallplatform.xust.edu.cn',
                'X-Requested-With': 'XMLHttpRequest',
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                              'Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400',
                'Content-Type': 'application/json;charset=UTF-8',
                'Referer': 'http://ehallplatform.xust.edu.cn/default/jkdkgl/mobile/wsbrymx.jsp?uid'
                           '=NTE2RUQ4OTJGREJDRTMxRENFQjZDNEMwNTZBNDgxMjU=&cxsj=2021-03-26&cxlx=0&bmid=%274007013%27'
                           '&bmjb=3',
                'Accept-Encoding': 'gzip, deflate',
                'Accept-Language': 'zh-CN,zh;q=0.9',
                'Cookie': 'JSESSIONID=' + cookie
            }

            response = session.post(url=url2, json=jsons, headers=header)
            # 未打卡人员信息
            data = json.loads(response.text, encoding='utf-8')['data']
        except Exception as err:
            now = datetime.datetime.now()
            detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
            file_handle = open(LOG_FILE, mode='a', encoding='utf-8')
            file_handle.writelines(detail_time + '\n')
            file_handle.writelines(str(err)+'\n')
            file_handle.writelines('——————————————————\n')
            file_handle.close()
            print(detail_time + '\n')
            print(str(err) + '\n')
            print('——————————————————')
            count += 1
            continue
        # 发送汇总情况
        email_summary(data)

        # 提醒方式选择
        if mark['email_mark']:
            # 邮件提醒
            email_tip(mark, data)
        elif mark['msm_mark']:
            # 短信提醒
            msm_tip(mark, data)
        elif mark['loop_mark']:
            # 循环短信提醒
            loop_tip(mark, data)

        break


if __name__ == '__main__':
    # 获取当前时间
    now = datetime.datetime.now()
    # 记录当前日期
    day = now.strftime('%d')
    detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
    file_handle = open(LOG_FILE, mode='w',  encoding='utf-8')
    file_handle.writelines(detail_time + '\n开始运行\n')
    file_handle.writelines('——————————————————\n')
    file_handle.close()
    print(detail_time + "\n开始运行")
    print('——————————————————')

    mark = {
        'email_mark': False,
        "msm_mark": False,
        "loop_mark": False
    }
    # 循环催促时间
    loop_time = '21:00'

    # 根据启动市价调整标志
    if now.strftime('%H:%M') <= '20:00':
        mark['email_mark'] = True
    if now.strftime('%H:%M') <= '20:40':
        mark['msm_mark'] = True
    if now.strftime('%H:%M') <= loop_time:
        mark['loop_mark'] = True
    # 进入循环，到达时间做出相应操作
    while True:
        now = datetime.datetime.now()
        # 时间到达第二天，重置标记
        if day != now.strftime('%d'):
            mark['email_mark'] = True
            mark['msm_mark'] = True
            mark['loop_mark'] = True
            # day = localtime.tm_mday
            day = now.strftime('%d')
            loop_time = '21:00'

        if mark['email_mark'] and now.strftime('%H:%M') == '20:00':
            detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
            file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
            file_handle.writelines(detail_time + '\n开始第一次查询\n')
            file_handle.writelines('——————————————————\n')
            file_handle.close()
            print(detail_time + "\n开始第一次查询")
            print('——————————————————')
            query(mark)
            now = datetime.datetime.now()
            detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
            file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
            if mark['msm_mark']:
                file_handle.writelines(detail_time + '\n结束第一次查询，等待第二次查询\n')
                file_handle.writelines('——————————————————\n')
                print(detail_time + "\n结束第一次查询，等待第二次查询")
                print('——————————————————')
            else:
                file_handle.writelines(detail_time + '\n结束第一次查询，已全部打卡\n')
                file_handle.writelines('——————————————————\n')
                print(detail_time + "\n结束第一次查询，已全部打卡")
                print('——————————————————')
            file_handle.close()

        if mark['msm_mark'] and now.strftime('%H:%M') == '20:40':
            detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
            file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
            file_handle.writelines(detail_time + '\n开始第二次查询\n')
            file_handle.writelines('——————————————————\n')
            file_handle.close()
            print(detail_time + "\n开始第二次查询")
            print('——————————————————')
            query(mark)
            now = datetime.datetime.now()
            detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
            file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
            if mark['loop_mark']:
                file_handle.writelines(detail_time + '\n结束第二次查询，等待循环催促\n')
                file_handle.writelines('——————————————————\n')
                print(detail_time + "\n结束第二次查询，等待循环催促")
                print('——————————————————')
            else:
                file_handle.writelines(detail_time + '\n结束第二次查询，已全部打卡\n')
                file_handle.writelines('——————————————————\n')
                print(detail_time + "\n结束第二次查询，已全部打卡完成")
                print('——————————————————')
            file_handle.close()

        if mark['loop_mark'] and now.strftime('%H:%M') == loop_time:
            detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
            file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
            file_handle.writelines(detail_time + '\n开始循环催促\n')
            file_handle.writelines('——————————————————\n')
            file_handle.close()
            print(detail_time + "\n开始循环催促")
            print('——————————————————')
            query(mark)
            now = datetime.datetime.now()
            detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
            file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
            if mark['loop_mark']:
                delta = datetime.timedelta(minutes=20)
                loop_time = (now + delta).strftime('%H:%M')
                file_handle.writelines(detail_time + "\n还有人未打卡，" + loop_time + "时继续催促\n")
                print(detail_time + "\n还有人未打卡，" + loop_time + "时继续催促")
                file_handle.writelines('——————————————————')
            else:
                file_handle.writelines(detail_time + "\n结束循环催促，已全部打卡\n")
                file_handle.writelines('——————————————————\n')
                print(detail_time + "\n结束循环催促，已全部打卡")
                print('——————————————————')
            file_handle.close()

        if mark['loop_mark'] and now.strftime('%H:%M') == '23:45':  # 仍然人未打卡，提醒管理员手动发消息
            now = datetime.datetime.now()
            detail_time = now.strftime('%Y-%m-%d %H:%M:%S')
            file_handle = open(LOG_FILE, mode='a',  encoding='utf-8')
            file_handle.writelines(detail_time + '\n仍有人未打卡，向管理员发送短信\n')
            file_handle.writelines('——————————————————\n')
            file_handle.close()
            print(detail_time + '\n仍有人未打卡，向管理员发送短信')
            print('——————————————————')

            params = {'number': ADMIN_TEL,
                      'templateId': '3729'
                      }
            mark['loop_mark'] = False
            send_msm(params)  # 发送管理员提醒短信

        sleep(3)

zhenzismsclient.py（榛子云短信接口）

我用的是榛子云短信平台：官网

import requests
import json
from requests.packages.urllib3.exceptions import InsecureRequestWarning


class ZhenziSmsClient(object):
    def __init__(self, apiUrl, appId, appSecret):
        self.apiUrl = apiUrl
        self.appId = appId
        self.appSecret = appSecret

    def send(self, params):
        data = params;
        data['appId'] = self.appId;
        data['appSecret'] = self.appSecret;
        if 'templateParams' in data:
            data['templateParams'] = json.dumps(data['templateParams']);
        requests.packages.urllib3.disable_warnings(InsecureRequestWarning);
        response = requests.post(self.apiUrl + '/sms/v2/send.do', data=data, verify=False);
        result = str(response.content, 'utf-8');
        return result;

    def balance(self):
        data = {
            'appId': self.appId,
            'appSecret': self.appSecret
        }
        requests.packages.urllib3.disable_warnings(InsecureRequestWarning);
        response = requests.post(self.apiUrl + '/account/balance.do', data=data, verify=False);
        result = str(response.content, 'utf-8');
        return result;

    def findSmsByMessageId(self, messageId):
        data = {
            'appId': self.appId,
            'appSecret': self.appSecret,
            'messageId': messageId
        }
        requests.packages.urllib3.disable_warnings(InsecureRequestWarning);
        response = requests.post(self.apiUrl + '/smslog/findSmsByMessageId.do', data=data, verify=False);
        result = str(response.content, 'utf-8');
        return result;

七、总结

这个程序是我自己独立完成的一个较大的Python爬虫程序，很有纪念意义，我从中也学到了很多东西，在此记录下来。关于遇到的问题，下一篇博文慢慢分析。

怀而慕思
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
爬虫技术实验报告
xuezha_liang的博客
10-29 1541
1、通过实验和分析，评估不同的等待机制在Python动态网页爬虫中的使用效果和性能差异。 2、通过对比不同等待机制的优缺点，可以更好地了解何时使用何种等待机制，并选择最适合自己需求的方法。 对于网页进行请求，然后抓取所需的内容，最后存储数据，可以了解爬取的过程。
网络爬虫（动态网页爬取关于混合动力汽车的论文数据）
yanbinxi0ng的博客
10-28 777
用POST请求方法对动态网页爬取 内容为cnki.net关于混合动力汽车的文章信息
【Python爬虫实战】Python实现动态网页爬虫（requests模块）_python+def+get_pages+用法
最新发布
2401_84590351的博客
04-26 870
Python爬虫实战，requests模块，Python实现动态网页爬虫让我们愉快地开始吧~① Python所有方向的学习路线图，清楚各个方向要学什么东西② 600多节Python课程视频，涵盖必备基础、爬虫和数据分析③ 100多个Python实战案例，含50个超大型项目详解，学习不再是只会理论④ 20款主流手游迫解 爬虫手游逆行迫解教程包⑤ 爬虫与反爬虫攻防教程包，含15个大型网站迫解⑥ 爬虫APP逆向实战教程包，含45项绝密技术详解。
Python爬取动态数据
weixin_43737959的博客
04-11 8493
项目场景： 提示：这里简述项目相关背景： 在做一个校园新闻小程序的时候，不仅需要获得新闻内容，同时还要获取点击量来排序。爬取静态的数据很简单，爬取动态的数据就有一点麻烦了。 问题描述 提示：这里描述项目中遇到的问题： 比如说我们在爬取这个网页的时候 打开开发者工具可以看到点击量可以显示 但是我们爬取来的内容确是这个样子的 点击量为什么会不显示呢？ 原因分析： 提示：这里填写问题的分析： 我的理解是这样子的，因为点击量是随着网页的刷新要不断地改变的，而新闻内容是固定不变的。所以说点击量会由一个
python网络应用开发-动态网页爬取.docx
11-06
python网络应用开发 实验报告
Python爬取动态网站实战
白帽阿叁的博客
12-12 5190
在之前的推文中，我们介绍了如何爬取一个简单的静态网站——「[Python爬取静态网站」，但是在实际过程中，常常会遇到需要爬取动态网站数据的情况。在本文中，我们也将通过一个比较简单的案例，来介绍爬取动态网站数据的基本思路和步骤。
python爬取携程网评论.zip
11-10
总结起来，"python爬取携程网评论.zip"项目涵盖了Python网络爬虫的基本流程：发送HTTP请求获取网页，解析HTML提取所需信息，处理分页，数据清洗与存储。这个过程既锻炼了Python编程技能，也提升了数据分析的能力，是...
python食物数据爬取及分析（源码、爬取数据、数据可视化图表、报告）
01-08
本项目是基于Python进行的一次食物数据爬取与分析的实践，主要涵盖了网络爬虫、数据处理和数据可视化等核心知识点。在这个过程中，学生将学习到如何利用Python库获取网络上的公开数据，对数据进行清洗、整理，并通过...
python百度翻译爬取调用代码.zip
09-11
"python百度翻译爬取调用代码.zip"这个压缩包文件显然包含了实现这一功能的代码示例。下面将详细解释如何使用Python调用百度翻译API，以及涉及到的相关知识点。 首先，我们需要了解百度翻译API的基本概念。百度翻译...
python主题爬虫爬取与主题词相关的新浪新闻网页 .rar
11-10
标题中的“python主题爬虫爬取与主题词相关的新浪新闻网页 .rar”表明这是一个使用Python编程语言实现的网络爬虫项目，目标是抓取与特定主题词相关的新浪新闻网页。这个项目可能涉及到网页数据的抓取、解析以及主题...
Python爬虫爬取网页信息
03-13
Python爬虫爬取网页信息是网络数据采集的重要技术，它允许开发者通过自动化程序获取大量网页内容。本资源基于Python3.5环境，旨在教授如何利用Python编写爬虫来抓取百度百科上的1000个词条信息。在这个过程中，我们...
使用Selenium爬取动态网页信息【网络通信编程】
wanerXR的博客
12-17 2378
目录一、Selenium简介1.原理2.安装二、网页自动化测试1.打开浏览器并访问百度2.爬取动态网页的名人名言3.爬取京东图书三、参考文献 一、Selenium简介 1.原理 Selenium 是一个 Web 应用的自动化框架。 通过它，我们可以写出自动化程序，像人一样在浏览器里操作web界面。 比如点击界面按钮，在文本框中输入文字 等操作。 而且还能从web界面获取信息。 比如获取12306票务信息，招聘网站职位信息，财经网站股票价格信息 等等，然后用程序进行分析处理。 Selenium 的自动化原理是
浅谈selenium动态页面的爬取
yihuliunian的博客
05-15 172
转载自品略图书馆http://www.pinlue.com/article/2020/05/1402/5610512741629.html 动态页面的生成有很多种,常见的有两种: 一种是直接通过Ajax返回的数据来显示.对于这种,我们可以直接通过分析Ajax的接口来使用requests或者urllib等包直接来获取接口传输的数据, 另外一种是返回的数据在页面上再进行加工后才显示的数据,这种数据往往是通过js进行各种复杂的计算得到的也是一种很常见的加密方式,通过requests并不能直接获取 针对上.
python网络爬虫系列（七）——selenium的介绍 & selenium定位获取标签对象并提取数据 & selenium的其它使用方法
zep
07-08 2987
一、selenium的介绍 知识点： 了解 selenium的工作原理 了解 selenium以及chromedriver的安装 掌握 标签对象click点击以及send_keys输入 1. selenium运行效果展示 Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。我们可以使用selenium很
python爬虫实战 scrapy+selenium爬取动态网页
栀子枝头盛的博客
04-16 5927
使用scrapy对接selenium完成对动态网站的爬取
爬取动态网页的一点小心得
callow238的博客
03-30 395
在爬取动态网页，尤其是实时不停交互的网页，在network中查看js文件时看得眼睛痛，因为文件一直在跳。 这时，不如转到source中查看，先根据文件名大概区分，再耐心点开一个个js文件，起码js文件没有一直在刷新，对眼睛比较友好。 ...
Python轻松实现动态网页爬虫(附详细源码)！
热门推荐
爬遍所有网站
05-22 1万+
AJAX动态加载网页 一 什么是动态网页 J哥一向注重理论与实践相结合，知其然也要知其所以然，才能以不变应万变。 所谓的动态网页，是指跟静态网页相对的一种网页编程技术。静态网页，随着html代码的生成，页面的内容和显示效果就基本上不会发生变化了——除非你修改页面代码。而动态网页则不然，页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的。——来源百度百科 动态网页具有减少工作量、内容更新快、可完成功能多等特点，被很...
使用Python Requests进行Web交互与爬取实战指南
10. **实战示例**：书中可能包含实际的项目案例，如模拟登录网站、爬取网页数据、监控API接口等，帮助读者将理论知识应用到实践中。 11. **最佳实践**：分享如何优化HTTP请求，如缓存策略、重试机制，以及性能监控...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值