爬取厦门大学电费

这个神奇的电费网站真的是。。。

拖到我现在才做出来

大概思路就是保持session，get访问一次获取所有隐藏的表单信息，然后选取校区，因为选完页面会刷一次，post访问，最后填写其他信息，post得到电费。

如果直接post会发现电费是空的，大概的时间应该都耗在了获取隐藏信息上了

最开始用selenium->3.5s

现在requests->0.7s

如果大佬们有更高效的解决方案，请务必告诉我，谢谢

 

2019-03-12更新：

电费改了好像

原来可以直接爬取，现在好像只有本部可以直接爬取

漳州校区已经阵亡

 所以改一下爬取用电量第一行

 

2019/3/21更新

貌似用电量第一个不再是今天的时间

所以插入加入今天的时间戳dxdateStart_Raw和日期dxdateStart

 

#!/usr/bin/env python
# _*_ coding:utf-8 _*_
import requests
from bs4 import BeautifulSoup
import time
from datetime import datetime


# 获取电费
# @param drxiaoqu 校区代号
# @param drlou 园区代号
# @param txtRoomid 宿舍
def query(drxiaoqu, drlou, txtRoomid):
    # 一定要保持session
    r = requests.session()
    url = 'http://elec.xmu.edu.cn/PdmlWebSetup/Pages/SMSMain.aspx'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                             'Chrome/70.0.3538.102 Safari/537.36'}

    html = r.get(url=url, headers=headers).text
    soup = BeautifulSoup(html, 'lxml')
    # 获取所有的隐藏(hidden)
    t = soup.find_all("input", attrs={'type': 'hidden'})
    data = {}
    for tag in t:
        if 'value' in tag.attrs:
            data[tag.attrs['id']] = tag.attrs['value']
        else:
            data[tag.attrs['id']] = ''
    # 模拟选择了校区
    data['drxiaoqu'] = drxiaoqu
    # 这个属性很重要
    data['__EVENTTARGET'] = 'drxiaoqu'
    # 今天8点的时间
    date_stamp = datetime.today().replace(hour=8, minute=0, second=0, microsecond=0)
    # unix时间(毫秒)，所以乘1000
    data['dxdateStart_Raw'] = str(int(date_stamp.timestamp()) * 1000)
    # 年月日
    data['dxdateStart'] = '%d年%d月%d日' % date_stamp.timetuple()[:3]

    html = r.post(url=url, headers=headers, data=data).text
    soup = BeautifulSoup(html, 'lxml')
    t = soup.find_all("input", attrs={'type': 'hidden'})
    # 继续获取所有的隐藏(hidden)，获得的隐藏和刚刚那次的隐藏有所不一样
    for tag in t:
        if 'value' in tag.attrs:
            data[tag.attrs['id']] = tag.attrs['value']
        else:
            data[tag.attrs['id']] = ''
    # 填写园区和楼号
    data['drlou'] = drlou
    data['txtRoomid'] = txtRoomid
    html = r.post(url=url, headers=headers, data=data).text
    soup = BeautifulSoup(html, 'lxml')
    # 找到电费的标签
    # tag = soup.find('label', attrs={'id': "lableft"})
    # 页面改了- -
    tag = soup.find('tr', attrs={'id': "dxgvElec_DXDataRow0"})
    tag = tag.find_all('td')[-1]
    return tag.string


# 用时大约0.7s有待改进
print(query('31', '南光10', '0315'))

参考资料：

  https://zhuanlan.zhihu.com/p/37603301