requests,BS4 爬取2016-2019中国大学排名并存储为csv格式文件

最好大学网url:
http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html
http://www.zuihaodaxue.com/zuihaodaxuepaiming2017.html
http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html
http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html
我们可以看到每个年份的url的规律

首先我们需要导入bs4模块和requests模块

import requests
from bs4 import BeautifulSoup
import bs4

然后我们使用requests模块得到页面内容

def get_content(url,):
    try:
        user_agent = "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36"
        response = requests.get(url,  headers={'User-Agent': user_agent})
        response.raise_for_status()   # 如果返回的状态码不是200, 则抛出异常;
        response.encoding = response.apparent_encoding  # 判断网页的编码格式, 便于respons.text知道如何解码;
    except Exception as e:
        print("爬取错误")
    else:
        print(response.url)
        print("爬取成功!")
        return  response.content  #response.content是bytes数据类型的数据

然后使用bs4模块解析页面内容,获取需要的信息

def getUnivList(html):
    """解析页面内容, 需要获取: 学校排名, 学校名称, 省份, 总分"""
    soup = BeautifulSoup(html, 'lxml')
    # 该页面只有一个表格, 也只有一个tbody标签;
    # 获取tbosy里面的所有子标签, 返回的是生成器: soup.find('tbody').children
    # 获取tbosy里面的所有子标签, 返回的是列表:   soup.find('tbody').contents
    uList = [] # uList用来存储我们获得的所有信息,方便我们存储
    for tr in soup.find('tbody').children:
        # 有可能没有内容, 获取的tr标签不存在, 判断是否为标签对象?
        if isinstance(tr, bs4.element.Tag):
            # print(tr.td)
            # 返回tr里面的所有td标签;
            tds = tr('td')
            # print(tds)
            # 将每个学校信息以元组的方式存储到列表变量uList中;
            uList.append((tds[0].string, tds[1].string, tds[2].string, tds[3].string))
    return  uList

保存获取到的信息(csv格式)

def saveUnivData(uList, year):
    import csv
    with open('doc/ranking-%s.csv' %(year), 'w') as f:
        writer = csv.writer(f)
        # 将列表的每条数据依次写入csv文件, 并以逗号分隔
        writer.writerows(uList)
        print("写入完成....")

主函数

if __name__ == '__main__':
    start_year = int(input("开始爬取的年份:"))
    end_year =  int(input("结束爬取的年份:"))
    for year in range(start_year, end_year+1):
        url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming%s.html" %(year)
        content = get_content(url)
        uList = getUnivList(content)
        # printUnivList(uList)
        saveUnivData(uList, year)
        print("%s年信息爬取成功......" %(year))

运行结果:
在这里插入图片描述
在这里插入图片描述

©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值