嵩天《Python网络爬虫与信息提取》实例2：中国大学排名定向爬虫

最新推荐文章于 2024-04-08 22:01:53 发布
最新推荐文章于 2024-04-08 22:01:53 发布
阅读量2.1k 收藏 26
点赞数 6
分类专栏： 嵩天《Python网络爬虫与信息提取》  文章标签： python 爬虫 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43095088/article/details/122160220
版权

在介绍完requests库和robots协议后，嵩天老师又重点介绍了如何通过BeautifulSoup库进行网页解析和信息提取。这一部分就是在前面内容的基础上，综合运用requests库和BeautifulSoup库的知识，对软科中国大学排名进行定向爬取。

说明：爬虫练习仅为学习，不做商用，如有侵权，烦请联系删除！

目标网页：https://www.shanghairanking.cn/rankings/bcur/2021

爬取目标：爬取上海软科官网提供的中国最好大学排名，并在IDLE页面打印输出大学名称、排名、省市、总分信息

相关库名：requests/BeautifulSoup

目录

1.网页解析

2.代码设计 

3.运行结果

4.问题记录 

1.网页解析

打开上述软科中国大学排名页面，选择最新的2021年排名，页面显示如下：

最低0.47元/天 解锁文章
空中的thinker°
关注
  • 6
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python：爬取软科排名的历年所有数据
include的博客
04-19 1571
import traceback from selenium import webdriver from selenium.webdriver.common.by import By from selenium.common import exceptions import time import xlsxwriter import os class ShangHaiRanking: __SHANGHAIRANKING_ROOT = './shranking' indicator_list
爬取最好大学网排名数据
weixin_43182689的博客
11-29 566
今天闲来无事，写了个小爬虫，爬取了最好大学网的排名数据。 最好大学网 主要是使用requests库进行爬取，使用xpath和正则表达式提取数据，然后将数据保存到文件中。 源码 from lxml import etree import requests import re import csv class RankSpider(): def __init__(self, url):...
使用lxml+xpath解析 全国大学排行榜
最新发布
2302_78333888的博客
04-08 337
在 pycharm 的 Terminal（终端） 中使用命令安装。
Python爬虫之Beautiful Soup库及大学排名爬取
时间虚掷的孤岛
05-08 492
Beautiful Soup库是解析、遍历、维护“标签树”的功能库。Beautiful Soup库也叫beautifulsoup4 或 bs4。但主要还是用BeautifulSoup类，约定引用方式如下： from bs4 import BeautifulSoup import bs4 Beautiful Soup库解析器 soup = BeautifulSoup('<html>data</html>'，'html.parser') bs4的HTML解析器Beau...
Python数据分析案例：对全国大学综合数据分析，本可视化展示（附加2021全国大学排名爬虫源码）
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
09-04 8892
前言 软科中国大学排名以专业、客观、透明的优势赢得了高等教育领域和社会的广泛关注和认可，本次将利用Python对我国大学排名和分布情况进行一番研究。 先展示下爬虫的源码 import requests import parsel import csv f = open('排名.csv', mode='a', encoding='utf-8', newline='') csv_writer = csv.DictWriter(f, fieldnames=['名次', '学校名称', '综合得分', '星级排名'
基于python爬取全国2822所高校在各省，近三年的录取分数线
热门推荐
weixin_42464154的博客
06-18 1万+
最近全国高考结束，考生都在等分当中，鉴于自己之前一直有个想法，爬取各高校的信息，方便考生选择，因此完成了一下代码，爬取了全国2822所高校，包括本科和高职院校，在各省的分数线。下图是各高校在湖北省的，经过高校软科排名排序后的近3年录取分数情况： 完整的数据下载地址： 链接：https://pan.baidu.com/s/1uohDZQk2SPSjI0htZBJd1g 提取码：z1db数据中分数栏，空白部分，说明该学校在该省不招生。部分代码如下，未优化…...
Python网络爬虫与信息提取(实例讲解)
12-31
2、robots.txt:网络爬虫排除标准 3、BeautifulSoup框架：解析HTML页面 4、Re框架：正则框架，提取页面关键信息 5、Scrapy框架：网络爬虫原理介绍，专业爬虫框架介绍 理念：The Website is the API … Python语言常用...
完整版精品Python网络爬虫教程 数据采集 信息提取课程 06-实例1-中国大学排名爬虫（共26页）.pptx
11-13
Python网络爬虫教程 数据采集 信息提取课程 06-实例1-中国大学排名爬虫（共26页）.pptx Python网络爬虫教程 数据采集 信息提取课程 07-Re(正则表达式)库入门（共51页）.pptx Python网络爬虫教程 数据采集 信息提取...
Python网络爬虫与信息提取.zip
07-02
压缩包包含文件： 部分源码 ...WS08-实例2-淘宝商品信息定向爬虫，pdf WS09-实例3-股票数据定向爬虫.pdf WS10-Scrapy爬虫框架.pdf WS11-Scrapy爬虫基本使用.pdf WS12-实例4-股票数据定向Scrapy爬中.pdf
完整版精品Python网络爬虫教程 数据采集 信息提取课程 08-实例2-淘宝商品信息定向爬虫（共17页）.pptx
11-13
Python网络爬虫教程 数据采集 信息提取课程 06-实例1-中国大学排名爬虫（共26页）.pptx Python网络爬虫教程 数据采集 信息提取课程 07-Re(正则表达式)库入门（共51页）.pptx Python网络爬虫教程 数据采集 信息提取...
完整版精品Python网络爬虫教程 数据采集 信息提取课程 全套PPT课件 共12个章节.rar
11-21
Python网络爬虫教程 数据采集 信息提取课程 06-实例1-中国大学排名爬虫（共26页）.pptx Python网络爬虫教程 数据采集 信息提取课程 07-Re(正则表达式)库入门（共51页）.pptx Python网络爬虫教程 数据采集 信息提取...
2021软科中国大学排名（Python抓取前200名）
qq_41912858的博客
10-22 6866
2021软科中国大学排名（Python抓取）   由于软科官网使用动态渲染技术，将数据封装在js文件中，导致无法直接抓取所有的排名记录。用普通的请求方式只能抓取到前30条记录。虽然也可以通过自动化测试工具selenium模拟浏览器行为把数据提取出来，但毕竟繁琐。本文通过拿到网页js文件，然后通过正则表达式提取出排名信息的方式，将所有大学排名抓取出来。具体步骤如下：   (1)右键点击检查（Chrome），来到控制面板，点击network，找到payload.js，双击找到请求头headers，便可以找到请求
python爬取西安邮电大学学术报告信息
小灰灰的博客
12-15 595
爬取学校学术报告信息 import requests import re def get_page(url): req = requests.get(url) req.encoding = 'utf-8' return req.text def bg(page_text): key = re.findall('target="_blank" title="...
python爬虫学习笔记(二)——Beautiful Soup库
梦独吟
05-22 978
中国大学排名top100的定向爬虫实例 最好大学网：http://www.zuihaodaxue.cn/zuihaodaxuepaiming-zongbang-2020.html 功能描述 输入：大学排名URL链接 输出：大学排名信息的屏幕输出(排名，大学名称，总分) 技术路线：requests­--bs4 定向爬虫：仅对输入URL进行爬取，不扩展爬取 程序的结构...
《python网络爬虫和信息提取》：中国大学排名(附更改后的代码)
m0_60659514的博客
11-26 1403
t《python网络爬虫和信息提取》是北京理工大学的一门网络课程，中国大学排名(2016)是老师在课程里举的一个例子。时过境迁，老师当年的代码已无法运行，故把自己的学习心得放到这里，供和我一样的菜鸟参考。
嵩天《Python网络爬虫与信息提取》实例4：股票数据定向爬虫
weixin_43095088的博客
01-15 4453
爬取目标：通过东方财富网获取股票列表，借此构造链接从富途牛牛网获取个股信息并保存到本地列表中；相关库名：requests/re/json/csv
嵩天老师网络爬虫与信息提取课程学习笔记（二）
在AC与WA间徘徊
04-09 285
此文根据嵩天老师的视频课程边听边敲下来的代码，模块化代码结构，将爬虫实例的三个步骤用三个函数实现，思路清晰，爬虫小白终于搞清楚指定URL爬取网页内容的全过程了，感谢MOOC平台，谢谢嵩老师的精细讲解。 #中国大学排名爬虫实例 #URL:http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html #输入：大学排名URL链接 #输出：大学排名信...
BeautifulSoup_嵩天老师慕课学习笔记
JokeOrSerious的博客
05-04 357
导入 from bs4 import BeautifulSoup 对大小写敏感(还有DataFrame) 初始化（第一个参数是string形式的标签树，第二个参数是所用的解析器） soup=BeautifulSoup("<html>data</html>","html.parser") soup2=BeautifulSoup(open("D://demo.htm...
Python在网络爬虫中的应用1
08-04
Python在网络爬虫中的应用是现代信息技术领域中的一个重要组成部分，它通过自动化的方式采集网络上的数据，使得数据挖掘、机器学习、舆情分析等任务得以高效进行。网络爬虫，如同一只虚拟的“网络蜘蛛”，在互联网上...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值