爬虫案例：中国高校排名（2021.1.3可爬代码）

最新推荐文章于 2024-07-13 23:51:16 发布

大聪明亿泰

最新推荐文章于 2024-07-13 23:51:16 发布

阅读量1.8k

点赞数 1

分类专栏：笔记文章标签： python 爬虫

本文链接：https://blog.csdn.net/weixin_46496223/article/details/112154787

版权

本篇博客记录了在尝试北京理工大学网络课程《python网络爬虫与信息获取》中遇到的问题及解决方案。原代码因网址变更和变量命名错误导致无法运行。修复后，发现提取关键信息的语句失效，通过分析网页源码，调整了信息抽取策略。最终成功获取到高校排名和分数，但排版优化部分存在问题未解决。

摘要由CSDN通过智能技术生成

案例来源：北京理工大学网络课程《python网络爬虫与信息获取》
在实际上手操作中，发现视频中演示的代码无法完整运行，经个人探索后，记录如下
首先附上课程演示中提供的代码：

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""; 

def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string