利用python爬虫抓取OJ上做题信息（终结版）

最新推荐文章于 2024-06-18 11:41:13 发布

bobopeng

最新推荐文章于 2024-06-18 11:41:13 发布

阅读量4.4k

点赞数

分类专栏：爬虫研究 python

本文链接：https://blog.csdn.net/junbopengpeng/article/details/18234667

版权

本文介绍了一个Python爬虫程序，用于抓取杭州电子科技大学、北京大学和中国地质大学三个在线判题系统（OJ）的用户做题记录，并进行统计分析。程序根据输入的昵称抓取各个OJ的做题信息，部分用户在不同OJ的昵称可能不一致，导致某些OJ的做题数量显示为0。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import webbrowser
import re
import urllib

#获取hdu网页
def getHtml_hdu(url):
    page = urllib.urlopen(url)
    html = page.read()
    #unicodehtml = html.decode("utf-8")
    #return unicodehtml
    return html

#获取poj网页   
def getHtml_poj(url):
    page = urllib.urlopen(url)
    html = page.read()
    #unicodehtml = html.decode("utf-8")
    #return unicodehtml
    return html

#获取cug网页
def getHtml_cug(url):
    page = urllib.urlopen(url)
    html = page.read()
    unicodehtml = html.decode("utf-8")
    return unicodehtml


#获取hdu中用户信息
def zhenghe_hdu(str1,userid,imgre):
    html=getHtml_hdu( str1+userid )
    return re.findall(imgre,html)

#获取cug中用户信息
def zhenghe_cug(str1,userid,imgre):
    html=getHtml_cug( str1+userid )
    return re.findall(imgre,html)

#获取poj中用户信息
def zhenghe_poj(str1,userid,imgre):
    html =getHtml_poj( str1+ userid)
    return re.findall(imgre,htm