爬取中国大学排名并以csv格式存储

最新推荐文章于 2023-12-29 23:49:31 发布

dodobibibi

最新推荐文章于 2023-12-29 23:49:31 发布

阅读量2.7k

点赞数 5

分类专栏： python 文章标签： csv BS4 中国大学排名

本文链接：https://blog.csdn.net/dodobibibi/article/details/87799805

版权

爬取中国大学排名并以csv格式存储

import requests
from bs4 import BeautifulSoup
import bs4

def get_content(url):
    try:
        user_agent = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36"
        response = requests.get(url,  headers={'User-Agent': user_agent})
        response.raise_for_status()   # 如果返回的状态码不是200， 则抛出异常；
        response.encoding = response.apparent_encoding  # 判断网页的编码格式， 便于respons.text知道如何解码；
    except Exception as e:
        print("爬取错误")
    else:

        print(response.url)
        print("爬取成功!")
        return  response.content

def getUnivList(html):
    """解析页面内容，需要获取：学校排名，学校名称，省份，总分"""
    soup = BeautifulSoup(html, 'lxml')
    # 该页面只有一个表格，也只有一个tbody标签；
    # 获取tbosy里面的所有子标签，返回的是生成器： soup.find('tb