【Educoder实训平台作业】※网页抓取及信息提取

qq12345qwert

已于 2022-12-28 20:06:22 修改

阅读量3.1k

点赞数 3

分类专栏：【Educoder实训平台作业】文章标签： python 开发语言

于 2022-12-28 19:49:07 首次发布

本文链接：https://blog.csdn.net/qq12345qwert/article/details/128473081

版权

这篇博客详细记录了在Educoder实训平台上完成网页抓取和信息提取的过程，包括四个关键步骤：数据获取，涉及分数线目录页；数据分析，如提取历年分数线数据页链接；再次数据获取，获取历年分数线数据网页；最后的数据分析，专注于从历年分数线网页中提取具体数据。在第四关遇到了挑战，由于不同年份表格列数不一致，导致原本的方法无法通用，博主通过print调试来解决问题。

摘要由CSDN通过智能技术生成

第1关：数据获取—分数线目录页

# -*- coding: utf-8 -*-
import urllib.request as req
import os
import hashlib
# 国防科技大学本科招生信息网中录取分数目录页URL：
url = 'https://www.nudt.edu.cn/bkzs/xxgk/lqfs/index.htm' 
def step1():
# 请按下面的注释提示添加代码，完成相应功能
#********** Begin *********#
# 将网页内容保存到webdata
    f=req.urlopen(url)
    webdata=f.read()
    webdata=webdata.decode('utf-8')
#********** End **********#
    outfile = open("nudt.txt", 'w')  
    outfile.write(webdata)  # 将网页数据写入文件
    outfile.close()

第2关：数据分析—提取历年分数线数据页链接

# -*- coding: utf-8 -*-
import urllib.request as req
# 国防科技大学本科招生信息网中录取分数目录页URL：
url = 'https://www.nudt.edu.cn/bkzs/xxgk/lqfs/index.htm' 
webpage = req.urlopen(url)  # 按照类文件的方式打开网页
webdata = webpage.read()       # 一次性读取网页的所有数据
webdata = webdata.decode('utf-8')  # 将byte类型的data解码为字符串
de