都说高考其实是相对公平的选拔,那么今天我们就用数据来说话,看看全国的教育资源,高校分布到底是怎样,哪里的小伙伴相对来说,更容易踏入大学的校门呢。
数据获取
这里我选择的是“高考网”作为我数据的来源
http://college.gaokao.com/schlist/p1
网站很简单,也没有任何的反爬机制,直接分析页面,获取并保存数据就可以了
这里直接给出代码,不关心数据获取过程的小伙伴儿可以跳过此部分
import requests
from bs4 import BeautifulSoup
import os
import time
在学习过程中有什么不懂得可以加我的
python学习交流扣扣qun,784758214
群里有不错的学习视频教程、开发工具与电子书籍。
与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内容
def get_data():
for i in range(1, 108):
print("正在下载第%s页数据" % i)
url = 'http://college.gaokao.com/schlist/p%s' % i
res = requests.get(url).text
content = BeautifulSoup(res, "html.parser")
college_list = content.find('div', attrs={'class': 'scores_List'}).find_all('dl')
items = map(parse_item, college_list)
save_to_csv(items)
time.sleep(1)
def parse_item(item):
college_name = item.find('strong')['title']
college_attr = item.find_all('li')
college_site = college_attr[0].text[6:]
college_title = college_attr[1].text[5:]
college_type = college_attr[2].text[5:]
college_belong = college_attr[3].text[5:]
college_nature = college_attr[4].text[5:]
college_website = college_attr[5].text[5:]
result = {
'college_