背景
最近导师让我帮他把OJ系统上的学生代码导出来,怎知系统并没有一键导出的功能,无奈只能对着百度众多繁杂的教程咬咬牙爬虫,折腾了1天半总算搞出来交差了。
需求
1.提取验证码
2.模拟登陆
3.提取学生账号(学号)stuID、运行编号runID、题目编号pID.,构成学生代码提交页面的链接link
4.根据链接link提取学生提交的代码
5.匹配merge学号和学生姓名
6.保存每位学生的代码到本地,并且以学生姓名命名文件夹
总结
总结出以下几点:
- opener是一个好东西,一开始将cookie绑定到opener里面,后面都无需麻烦了
- 构造request请求,post方法代码如下
response=opener.open(postURL,postdata) #如果是get方法的话就无需第二个参数
content=response.read().decode()
print(content) #查看post登陆结果
3.读取excel文件:
pd.read_excel('d:/stulist.xlsx', sheetname='stulist',dtype=str)
4.抓包遇到有验证码,顺藤摸瓜找出验证码的网址,用opener访问验证码地址,获取cookie,将验证码保存到本地再读进来显示出图像来。
5.正则表达式问号需要加斜杆转义
6.如何转到下一页:抓取下页网址信息,继续往下爬,直到末页跳出while循环
7.用try-except可以在报错之后继续执行下去
8.一开始不懂,看了很多教程后,拼凑代码,一会儿用opener,一会儿用requests,结果浪费很多时间,爬虫框架很多,建议用的话只用一个就行,既然opener这么容易,以后我就专门用它好了。
代码:
# -*- coding: utf-8 -*-
"""
Created on Tue Jul 10 15:01:36 2018
@author: Administrator
"""
from http import cookiejar
import urllib.request
import re
import pandas as pd
import os
import urllib.parse
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
stulist=pd.read_excel('d:/stulist.xlsx', sheetname='stulist',dtype=str)
orginURL="http://116.56.140.75:8000/JudgeOnline/"
cid=1117
vcodeURL=orginURL+"vcode.php"
postURL=orginURL+"login.php"
statusURL=orginURL+'status.php'
page_URL= statusURL+'?problem_id=&user_id=&cid='+str(cid)+'&language=-1&jresult=-1&showsim=0'
#将cookie绑定到一个opener里,cookie由cookielib自动管理
cookie=cookiejar.CookieJar()
handler=urllib.request.HTTPCookieProcessor(cookie)
opener=urllib.request.build_opener(handler)
#根据抓包信息,构造头文件headers
opener.addheaders=[