爬取高校专业信息的Python爬虫简介与实践

1. 介绍

在当前高校专业信息繁多的情况下,选择适合自己的专业成为了许多学生面临的挑战。为了帮助学生更好地了解各高校专业情况,我们开发了一个Python爬虫程序,用于爬取高校专业信息并保存到Excel文件中。本文将详细介绍该爬虫的实现过程以及如何使用它获取所需信息。

2. 实现过程
2.1. 导入必要模块
import os
import time
from bs4 import BeautifulSoup
import re
import bag
import random
from tqdm import tqdm
2.2. 主要函数 major_spider()
def major_spider():
    url = r'https://college.gaokao.com/spelist/p{}/'
    name = re.compile(r'<strong.*?href="(.*?)".*?>(.*?)</a></strong>')
    li = re.compile(r'<li>.*?:(.*?)</li>')
    result = []
    for num in tqdm(range(82)):
        resp = session.get(url.format(num+1))
        time.sleep(random.randint(0, 2))
        resp.encoding = 'gb2312'
        resp.close()
        html = BeautifulSoup(resp.text, 'html.parser')
        soup = html.findAll('div', class_='scores_List')
        for i in BeautifulSoup(str(soup), 'html.parser').findAll('dl'):
            url_name = re.findall(name, str(i))
            ls_tags = re.findall(li, str(i))
            result.append([
                url_name[0][1], ls_tags[0], ls_tags[1], ls_tags[2], ls_tags[3], ls_tags[4], ls_tags[5], url_name[0][0]
            ])
    bag.Bag.save_excel(result, './高校专业.xlsx')
2.3. 文章总结和分享

通过该爬虫程序,我们可以轻松获取高校专业信息,为选择适合自己的专业提供了便利。在使用过程中,我们可能会遇到一些问题,但通过不断优化和调整,可以更好地提高爬取效率和数据准确性。下方提供了爬好的高校专业,需要自行拿走,祝你能找到适合自己的专业。

高校专业.xlsx

3. 结语

通过本文介绍的Python爬虫程序,我们可以方便地获取高校专业信息,为学生的职业规划提供更多参考。希望本文对您有所帮助,也欢迎您分享您的使用经验和优化建议,让更多人受益。

最后,如果你觉得本教程对你有所帮助,不妨点赞并关注我的CSDN账号。我会持续为大家带来更多有趣且实用的教程和资源。谢谢大家的支持!

  • 19
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值