2011-2021年高考网地区批次线数据爬取

最新推荐文章于 2023-06-20 15:20:10 发布

小关不摆烂

最新推荐文章于 2023-06-20 15:20:10 发布

阅读量166

点赞数 1

文章标签： python 开发语言爬虫

本文链接：https://blog.csdn.net/m0_60946919/article/details/131222144

版权

该代码示例展示了如何利用Python的requests和BeautifulSoup库从一个网站上爬取高考分数线信息，数据包括年份、考生所在地、文理分科、批次名称和最低控制分数线。爬取的数据被整理后写入CSV文件data.csv，限定年份范围为2011年至2021年。

摘要由CSDN通过智能技术生成

爬取目标：

爬取结果如下：

代码如下：

import csv
import requests
from bs4 import BeautifulSoup

base_url = 'http://college.gaokao.com/areapoint/p'
total_pages = 222  # 总页数

# 创建CSV文件并写入表头
with open('data.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['年份', '考生所在地', '文理分科', '批次名称', '最低控制分数线'])

    for page in range(1, total_pages + 1):
        url = base_url + str(page) + '/'
        response = requests.get(url)
        html_content = response.text

        soup = BeautifulSoup(html_content, 'html.parser')
        table_rows = soup.find_all('tr')

        for row in table_rows:
            cells = row.find_all('td')

            if len(cells) == 5:  # 确保行中包含所需的5个单元格
                year = cells[0].text
                location = cells[1].text
                science_art = cells[2].text
                batch_name = cells[3].text
                min_score = cells[4].text

                # 判断年份是否在指定范围内
                if 2011 <= int(year) <= 2021:
                    # 写入提取的数据到CSV文件
                    writer.writerow([year, location, science_art, batch_name, min_score])

print("数据已保存到data.csv文件中")