爬取研招网招考信息

最新推荐文章于 2024-04-08 11:51:40 发布
最新推荐文章于 2024-04-08 11:51:40 发布
阅读量3.3k 收藏 59
点赞数 7
分类专栏： py爬虫之路 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tuoshao123/article/details/104062145
版权

电子信息类考研科目

为了了解全国研究生院校电子系信息类专硕考察科目，特地开发一份爬虫程序将研招网的相关考试信息爬取下来，方便自己日后使用，也方便大家分析相关高校

文章目录

1.理清代码逻辑

找到全国所有省份的代号>>>找该省份所有的大学>>>找大学中所有电子信息相关专业>>>提取考察科目信息
（1）通过网页接受的数据包分析各省份的对应的代码如下图,为了避免麻烦，我最终还是选择了手刃咱们全国的省份~~,大家也可以直接对下图获取的的json包做处理
在这里插入图片描述（2）以搜索广东省的电子信息专业为例(如下图)，数据并没有通过json包发送，而是院校的相对链接嵌在html代码中，于是得使用beatifulsoup去制作一锅汤~~,去寻找其中的珍品
在这里插入图片描述（3）选取一所高校一探究竟，这个上一步如此的相似，数据也没有单独发包，都是嵌入在html页面中，这还是得再去制作一锅汤，不过这回得检查“查看”元素的源代码
在这里插入图片描述（4）以院校的专业为例，进入页面查看相关考察科目，任然没有发现我需要的json包~~(大哥能不能体谅我们这种没怎么学html的同学)，既然这样，那么咱们继续做汤呗
在这里插入图片描述（5）接下来就是咱们安装以及使用MongoDB数据库了(这是一个我没有玩过的全新版本~~)，为了操作，我也下载了他的可视化软件
在这里插入图片描述

2.请求并提取所需数据

（1）爬取该省所有高校相对链接请求(如下图)；对于爬虫程序，为了解决一些未知的错误，我选择try-except,这样不至于使程序因为一个小错误全程崩掉
在这里插入图片描述提取院校的相对链接；需要提取列表中所有的a标签的href属性
在这里插入图片描述（2）拼接成院校完整链接，请求数据
在这里插入图片描述提取院校专业的相对链接；
在这里插入图片描述（3）拼接链接，请求个专业考察科目
在这里插入图片描述
提取考察科目；

        for tr in html_text.find_all('tbody',class_="zsml-res-items"):
            #tr=tr.children
            if isinstance(tr,bs4.element.Tag):
                tds=tr('td')
                print("类型",type(tds[0]))
                tds[0]=str(tds[0]).replace("\r\n","")
                print("s类型",type(tds[0]))
                tds[0]=tds[0].replace(" ","")
                tds[1]=str(tds[1]).replace("\r\n","")
                tds[1]=tds[1].replace(" ", "")
                tds[2] = str(tds[2]).replace("\r\n","")
                tds[2] = tds[2].replace(" ","")
                tds[3] = str(tds[3]).replace("\r\n","")
                tds[3] = tds[3].replace(" ", "")
                con1 = Selector(text=tds[0])
                con2 = Selector(text=tds[1])
                con3 = Selector(text=tds[2])
                con4 = Selector(text=tds[3])
                #print(con1)
                test_subject_data.append([con1.xpath("//td/text()").extract(),con2.xpath("//td/text()").extract(),con3.xpath("//td/text()").extract(),con4.xpath("//td/text()").extract()])
                mydict={"univers":link_test_order[i][0],"course1":test_subject_data[i][0],"course2":test_subject_data[i][1],"course3":test_subject_data[i][2],"course4":test_subject_data[i][3]}
                x = mycol.insert_one(mydict)
                #print("test",test_subject_data)
        print("正在爬取%s考试科目"%(link_test_order[i][0]))

3.MongoDB数据库存储数据

（1）连接本地数据数据库，并创建数据表
在这里插入图片描述（2）向表中插入数据

mydict={"univers":link_test_order[i][0],"course1":test_subject_data[i][0],"course2":test_subject_data[i][1],"course3":test_subject_data[i][2],"course4":test_subject_data[i][3]}
                x = mycol.insert_one(mydict)

（3）爬取数据存储如下
在这里插入图片描述

4.使用server酱微信消息提醒

注册之后都会有key,原谅我打了马赛克,server酱注册地址
在这里插入图片描述

5.代码分享

import requests
import bs4
from bs4 import BeautifulSoup
from scrapy import Selector
import pymongo
import time
#连接数据库
myclient=pymongo.MongoClient("mongodb://localhost:27017/")
mydb=myclient["China"]
mycol=mydb["university"]
dblist=myclient.list_database_names()
code_university=[[11,"北京市"],
                 [12,"天津市"],
                 [13,"河北省"],
                 [14,"山西省"],
                 [15,"内蒙古自治区"],
                 [21,"辽宁省"],
                 [22,"吉林省"],
                 [23,"黑龙江省"],
                 [31,"上海市"],
                 [32,"江苏省"],
                 [33,"浙江省"],
                 [34,"安徽省"],
                 [35,"福建省"],
                 [36,"江西省"],
                 [37,"山东省"],
                 [41,"河南省"],
                 [42,"湖北省"],
                 [43,"湖南省"],
                 [44,"广东省"],
                 [45,"广西壮族自治区"],
                 [46,"海南省"],
                 [50,"重庆市"],
                 [51,"四川省"],
                 [52,"贵州省"],
                 [53,"云南省"],
                 [54,"西藏自治区"],
                 [61,"陕西省"],
                 [62,"甘肃省"],
                 [63,"青海省"],
                 [64,"宁夏回族自治区"],
                 [65,"新疆维吾尔族自治区"]
                 ]
chrome_info={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0'}
#配置表单信息
form_data={'ssdm':'','dwmc':'','mldm':'zyxw','mlmc':'','yjxkdm':'0854','zymc':'电子信息','xxfs':''}
base_url='https://yz.chsi.com.cn'
#爬取该省所有研究生院校的数据
def get_Us_data(form_data1,i):
    try:
        #post
        html_data=requests.post('https://yz.chsi.com.cn/zsml/queryAction.do',headers=chrome_info,data=form_data1)
        print("正在爬取%s所有研究生院校链接"%code_university[i][1])
    except:
        print("请求高校数据出错")
    #提取该省所有高校链接地址
    count=0
    link=[]
    soup=BeautifulSoup(html_data.text,'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):#判断是否为tr标签
            tds=tr('td')
            a=tds[0].form.a#定位到form标签下的a链接标签
            #print(a.text)
            link.append([a.get('href'),a.text])#该省院校的相对链接
            count+=1
    print(count)
    return link
def get_thisUniversity_data(link):
    # post表单信息
    data=[]#存储爬取的数据
    j=0
    link_test_order=[]
    #print("分割大学名称、序号中")
    for i in range(len(link)):
        try:
            lin=link[i][1].split(')')
            form_data1={'ssdm':form_data['ssdm'],'dwmc':lin[1],'mldm':form_data['mldm'],'mlmc':form_data['mlmc'],'yjxkdm':form_data['yjxkdm'],'xxfs':form_data['xxfs'],'zymc':form_data['zymc']}
            Url=base_url+link[i][0]
            html=requests.post(Url,headers=chrome_info,data=form_data1)
            html=BeautifulSoup(html.text,'html.parser')
            for tr in html.find('tbody').children:
                if isinstance(tr,bs4.element.Tag):
                    tds=tr('td')
                    data.append(['考试方式',tds[0].text])
                    data.append(['院系', tds[1].text])
                    data.append(['专业', tds[2].text])
                    data.append(['研究方向',tds[3].text])
                    data.append(['学习方式', tds[4].text])
                    link_test_order.append([lin[1]+tds[1].text+tds[2].text,tds[7].a.get('href')])
            j+=1
            print("爬取%d所院校成功"%i)
        except:
            print("爬取%s数据失败",link[i][1])
    print("该省共%d个相关专业"%len(link_test_order))
    return link_test_order
#请求各院校各专业的考试信息数据
def get_test_order(link_test_order):
    test_subject_data=[]
    for i in range(len(link_test_order)):
        Url = base_url + link_test_order[i][1]
        html = requests.get(Url, headers=chrome_info)
        html_text=BeautifulSoup(html.text,'html.parser')
        for tr in html_text.find_all('tbody',class_="zsml-res-items"):
            #tr=tr.children
            if isinstance(tr,bs4.element.Tag):
                tds=tr('td')
                print("类型",type(tds[0]))
                tds[0]=str(tds[0]).replace("\r\n","")
                print("s类型",type(tds[0]))
                tds[0]=tds[0].replace(" ","")
                tds[1]=str(tds[1]).replace("\r\n","")
                tds[1]=tds[1].replace(" ", "")
                tds[2] = str(tds[2]).replace("\r\n","")
                tds[2] = tds[2].replace(" ","")
                tds[3] = str(tds[3]).replace("\r\n","")
                tds[3] = tds[3].replace(" ", "")
                con1 = Selector(text=tds[0])
                con2 = Selector(text=tds[1])
                con3 = Selector(text=tds[2])
                con4 = Selector(text=tds[3])
                #print(con1)
                test_subject_data.append([con1.xpath("//td/text()").extract(),con2.xpath("//td/text()").extract(),con3.xpath("//td/text()").extract(),con4.xpath("//td/text()").extract()])
                mydict={"univers":link_test_order[i][0],"course1":test_subject_data[i][0],"course2":test_subject_data[i][1],"course3":test_subject_data[i][2],"course4":test_subject_data[i][3]}
                x = mycol.insert_one(mydict)
                #print("test",test_subject_data)
        print("正在爬取%s考试科目"%(link_test_order[i][0]))
if __name__=="__main__":
    for i in range(len(code_university)):
        code=code_university[i][0]
        form_data['ssdm']=code
    #请求该省高校相对链接数据数据
        link=get_Us_data(form_data,i)
    #请求高校专业、方向数据
        link_test_order=get_thisUniversity_data(link)
    #爬取各专业具体考试科目
        get_test_order(link_test_order)
        time.sleep(5)
    url = "https://sc.ftqq.com/你们自己的key.send?text=爬取大学结束~"
    re = requests.get(url)
    #数据存储
业务岗程序猿
关注
专栏目录
通过selenium八爪鱼爬取研招网各专业的初试信息
qq_34211618的博客
01-12 1697
任务需求： 因工作需要，需要爬取研招网各个高校每个专业研究生考试的初试科目信息。 处理步骤： 1，查看研招网页面（https://yz.chsi.com.cn/zsml/zyfx_search.jsp），发现需要根据省市，学科类别等选项进入下一界面 新进入分校界面后可以点击学校进入具体学校信息的网页 进入学校界面，点击考试范围处的查看进入具体的专业信息界面 在这里有具体需要爬取的信息（已用红框标...
Python爬取——目前考研招生学校的专业信息及考试范围
MAITTA的博客
05-28 3364
python来爬取2022年考研招生的全部学校，专业信息，考试范围，方便大家选择自己心仪的学校及专业
Python爬取——目前考研招生学校的专业信息及考试范围（研招网）
05-28
压缩包内包含已爬取成功的全部信息和完整代码，导入后即可使用 已爬取的信息：全部的省份，全部的学校以及其全部专业的院系所和研究方向，以及招生人数和考试科目。 使用的库：from bs4 import BeautifulSoup import requests import re from openpyxl import Workbook 简介：         该代码是逐步选择所在省市和学科类别，爬取到了招生单位中每个学校的链接。再通过该学校链接获得其考试范围的链接，最后爬取考试范围的链接中包含的我们所需要的信息，信息包括：院系所、专业、研究方向、拟招人数以及考试范围
爬虫——获取研招网学校信息
cmdos的专栏
03-06 1815
本文主要描述了爬虫在研招网上的使用，请使用者不要频繁去运行代码，对服务器造成压力，否则后果自负。同时希望该代码可以帮助正在考研学子们可以筛选出自己喜欢的学校。1.首先登陆研招网信息通过专业代码查询研招网上的专业代码。2.更改代码中学校的代码3.运行程序，代码附在下方。运行结束后会自动生成一个文本txt，你想要的信息就在里面。import requestsfrom lxml import etreeimport redata ={"ssdm":"","dwmc":"","mldm":"zyxw",...
爬虫实战之研招网数据爬取（含分析与实现）
04-09
使用Scrapy框架爬取研招网上所有院校的招生目录以及考试科目等信息，提供详细的网页分析课件和分步骤实现源代码，同时提供爬取的数据，是一个不错的爬虫实战案例。
单进程爬取研招网信息
logiclj
07-10 1524
# coding:utf-8 import requests from bs4 import BeautifulSoup from lxml import etree import xlsxwriter from multiprocessing import Pool from requests.exceptions import ConnectionError import multiprocessing # 不用数据库的情况下 # 多进程中，不能同时存一个excel文件的不同的sheet，因为一个e.
【爬虫】学习记录之Python 爬虫实战：爬取研招网招生信息详情
永不言弃的博客
07-03 3365
【简介】本篇博客为爱冲锋，爬取北京全部高校的全部招生信息，最后持久化存储为表格形式，可以用作筛选高校。
Python爬取研招网数据
Today_2018的博客
12-24 3704
一、爬虫定制部分 # 导入相关的包 import requests import lxml.html import chardet import pandas as pd import numpy as np #请求头获取页面 def get_page(url,headers): try: r=requests.get(url, headers=headers) r.raise_for_status() r.encoding=r.apparent_
python简易网络爬虫（以研招网招生信息为例）
weixin_72023436的博客
04-07 2544
python简易网络爬虫（以研招网招生信息为例）
python爬虫爬取研招网的所有考研招考信息，并写入到本地轻量级数据库，再从数据库写入到excle中，整体代码都在里面
最新发布
06-27
在“创建数据库和表.py”中第6行修改一下你的数据库文件夹（就是说必须先创建文件夹，有没有那个db数据库无所谓） “将数据库插入到excle.py”中第5行也要修改一下你的数据库文件夹（文件名和上面修改的要一摸一样）...
python爬虫，爬去中国考研网考研新闻，入库
07-25
python爬虫，分层比较清晰，爬取了中国考研网中的考研新闻模块，并且配置mysql数据库，将新闻存入mysql数据库
Java网络爬虫爬取大学研究生信息
12-12
1. 面向接口编程的概念和原理 2. 爬虫基本概念，使用的技术手段 3. Jsoup的基本用法 4. （选学）Java多线程相关知识
研招网考研信息爬取及数据库EXCEL导出教程
资源摘要信息: "本项目是一个Python爬虫程序，用于爬取研招网的所有考研招考信息。程序的主要流程包括：首先，使用Python编写爬虫脚本访问研招网获取所需数据；然后，将爬取的数据写入到本地的轻量级数据库中；接着...
多进程爬取研招网信息
logiclj
07-10 827
# coding:utf-8 import requests from bs4 import BeautifulSoup import multiprocessing import openpyxl import os import time # 采用多进程爬取数据处理数据，利用callback函数将得到的数据存储 # 系统的限制，对excel文件的修改，不能由多个进程同步修改，而且利用callback回调函数的执行也是线性的，并不能实现多进程存储（实际发现存储需要占用大量的时间资源） # 因此，考.
网络爬虫实战（二）：爬取研招网调剂信息
老肥码码码
03-22 5377
研究生复试陆续展开，有些学校甚至都已发送拟录取通知，慌张的我昨天刚刚复试完，经历了慌张的考试，慌张地等成绩，慌张地等分数线，慌张地复试，然后我现在在慌张地等待通知。少壮不努力，考研天天愁。真实！ 作为守门员要有守门员地自觉，因此我也准备着手调剂，一看，什么科软不收啦，地大关调剂大门啦，这可咋办？ 研招网上的调剂信息每20条就要...
【Python网络爬虫】研招网院校库爬取
枯木何日可逢春
04-07 715
【Python网络爬虫】研招网院校信息爬取
【python3爬虫应用+PHP数据清洗】爬取研究生招生信息网的研究生专业信息
User XXX Blog
02-20 1208
- 由于需要抓取的信息比较棘手，没有使用基于cookie的虚拟环境想法，4联级分类才能得到最终信息详情页的内容，而信息详情页的内容包含了4联级的分类名称内容：类->目->学科->专业。于是乎手动20分钟把专业的目录页的片段源代码复制到html文件里面->用python3抓取所有专业目录->得到专业详情页的url->python3第一次清洗节点，得到基本信息-&...
24考研数据爬取-可视化大屏-动态页面【数据分析】
但行好事，莫问前程
06-16 1980
【到2024/05/09依然可用】基于 python3.9 + flask + echarts 的23考研数据爬取与可视化大屏展示
爬取研招网
weixin_48052655的博客
04-08 281
用于爬取研招网的信息，目前实现的是，输入省份以及专业代码可以load到相关的信息，报考人数，专业，学院，学校，考试科目等。可以看这个：https://gitee.com/chenjian0502/yanzhaowang，有什么问题可以问。有了之后将代码中的替换成自己想要的就可以了。上面的三个链接是用来获取省份类别和专业的。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值