Beautiful Soup 基础入门（实验楼学习笔记2）

最新推荐文章于 2022-10-06 17:06:01 发布
VIP文章 最新推荐文章于 2022-10-06 17:06:01 发布
阅读量385 收藏 4
点赞数 1
分类专栏： python新人笔记 文章标签： 学习 python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gnipgnoy/article/details/125758889
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

接下来将学习用 Beautiful Soup 库来实现数据抓取。将会通过爬取世界大学校园排名和蓝桥云课课程的数据来讲解 Beautiful Soup 库的基础知识。它包括如何用 Beautiful Soup 库的解析器去解析页面内容、如何遍历和搜索标签树、如何提取出关键的数据并保存到列表或者字典里

知识点

  • Requests 库
  • 遍历文档树
  • 搜索文档树
  • 标签基本元素
  • Beautiful Soup 库解析器

一、Beautiful Soup 简介

Beautiful Soup 库简单来说，就是一个可以从 HTML 或 XML 文件中提取数据的 Python 库。本次实验中，第一个例子是在 软科上去爬取 2021年软科类世界大学排名的数据。爬取的内容如下图所示：
在这里插入图片描述

二、获取 HTML 页面

我们要爬取上图中的三列数据，世界排名、学校名字和总分。首先我们用 Chrome 浏览器去访问这个页面。然后使用快捷键 F12 打开开发者工具来观察该页面中我们所要爬取数据的标签结构。

把鼠标移到要定位代码的数据上，右键鼠标 检查 就能定位到相应的代码，如下图所示。从下图可以看到一所大学的信息是存储在表格的一行里的。 我们需要获取每一行的第 1 列、第 2 列 和第 5 列的数据。
在这里插入图片描述
使用调试工具观察标签结构后，不难发现，我们想要获取的数据都是存储在表格中的，如下图所示。在本实验中最主要的任务就是要学会如何去遍历 tbody 标签的孩子标签，获取 tr 标签里 td 标签的数据。

确定好目标之后ÿ

最低0.47元/天 解锁文章
gnipgnoy
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Beautiful Soup学习笔记(对我自己比较常用)
01-20
本文仅为学习笔记，作用仅为方便自己查阅复习使用，具体学习路线参考 Beautiful Souo 4.2.0文档 文章目录TagnameAttributestag属性的删除tag属性的修改多值属性tag中的字符串注释及特殊字符串 Tag tag中两个最重要的...
chatgpt赋能python：Python中的soup.find()方法详解
「 虚幻私塾」
05-25 2310
BeautifulSoup库中的soup对象可以看作是一个HTML/XML文档的解析器，可以将HTML/XML文档中的标签、属性和内容进行提取和筛选。而soup.find()方法则是其中的一个常用方法，用于查找指定的HTML/XML标签。在日常的编程中，我们经常需要从HTML/XML文档中提取数据，这时使用BeautifulSoup库中的soup.find()方法可以帮助我们轻松实现这一目标。但在使用时，需要注意以下几点：查找的标签和内容要准确无误，否则可能会找不到指定的内容。
python爬虫学习第二天
dandan1105的博客
04-01 424
beatiful soup 库学习 1.beautiful soup的安装 使用beautiful soup 第一行从bs4中导入一个类BeautifulSoup 第二行，命名一个变量soup，括号中两个参数，第一个表示我们需要Beautiful Soup解析的一个html的格式信息，第二个表示解析这个使用的解析器，名字叫html.parser。 html内容遍历法包含两种 so...
python学习之常见错误
weixin_30532973的博客
06-13 427
以中国大学定向排名爬虫为例 一、for tr in soup.find('tbody').children: AttributeError: 'NoneType' object has no attribute 'children' 它告诉我们从soup中获取到的网页结构内容tbody出现问题，这就要从函数getHTMLText(url)中来找解决的办法，网上有的同学说是...
python爬虫笔记（四）:提取（三）一个实例
像风一样
04-01 1100
初步脚本：#CrawUnivRankingA.py import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.enc...
Python爬虫问题求助
weixin_44405123的博客
05-20 238
** Python爬虫问题求助 ** import bs4 from urllib import request from bs4 import BeautifulSoup def getHTMLText(url): ‘’‘获取页面’’’ try: resp = request.urlopen(url) html_data = resp.read().decode(‘utf-8’) retu...
python爬虫-Beautiful Soup库入门（四）
12-20
python爬虫-Beautiful Soup库入门说明Beautiful Soup库安装Beautiful Soup库的引用Beautiful Soup库解析器Beautiful Soup类的基本元素例子tag标签tag的name（名字）tag的Attributes（属性）Tag的NavigableString...
爬虫之——Beautiful Soup基础
12-21
爬虫之——Beautiful Soup Beautiful Soup库也叫beautifulsoup4，还叫bs4 一、beautiful soup库的安装 win+R，输入cmd打开命令行 输入pip install beautifulsoup4 BeautifulSoup小测：以...
Python 爬虫入门的教程之Beautiful Soup解析
最新发布
11-21
Python 爬虫入门的教程之Beautiful Soup解析
Beautiful Soup 4.4.0 文档 chm
01-02
Beautiful Soup 4.4.0 文档 Beautiful Soup 4.4.0 文档 Beautiful Soup 4.4.0 文档
【爬虫】爬取大学排名信息
m0_64750119的博客
10-06 1173
urllib.request和BeautifulSoup 库方法
Python爬虫-DAY3-爬虫中国最好大学
Lucky小小吴的小屋
01-20 208
import requests from bs4 import BeautifulSoup import bs4 ulist1=[] #获取对应网址文本信息 def getHTMLText(url): try: r = requests.get(url,timeout = 30)#获取对应网址信息 r.raise_for_status() #异常处理 r.encoding = r.apparent_encoding #修改网页访问代码 .
python beautifulsoup_Python网络爬虫——Beautiful Soup
weixin_35679331的博客
02-02 319
Beautiful Soup"Beautiful Soup parses anything you give it, and does the tree traversal stuff for you. "Beautiful Soup 是一个优秀的 HTML 页面解析的第三方库，正如官网所说"Since 2004, it's been saving programmers hours or day...
python学习之BeautifulSoup解析网页
zenobia119的博客
03-03 327
from bs4 import BeautifulSoupimport requestsimport bs4def getHtmlText(url):    try:        r = requests.get(url, timeout = 30)        r.raise_for_status()        r.encoding = r.apparent_encoding      ...
Python——BeautifulSoup库（二）——基于bs4库的HTML内容遍历方法
Noob_Zhou的博客
03-22 1010
标签树的下行遍历：可以用len（）函数检索儿子节点的数量：len(soup.body.contents)用for in 遍历：标签树的上行遍历：标签树的平行遍历：平行遍历条件：同一个父亲 遍历： 总结：...
2019年必备的100个Python面试问题（三）
景越Python编程实例训练营
07-09 1278
Q61。你如何在Python中进行数据抽象？ Ans：Data Abstraction仅提供所需的详细信息并将实现隐藏起来。它可以通过使用接口和抽象类在Python中实现。 Q62.python是否使用了访问说明符？ Ans：Python不会剥夺对实例变量或函数的访问权限。Python规定了使用单个或双下划线为变量，函数或方法的名称添加前缀的概念，以模仿受保护和私有访问说明符的行为。...
python3 beautifulsoup 表格指定行_python – 如何使用BeautifulSoup从特定的表中获取所有行？...
weixin_35498756的博客
01-14 563
如果你有一大块HTML来解析BeautifulSoup,这应该很简单.一般的想法是使用findChildren方法导航到你的表,然后你可以使用string属性获取单元格内的文本值.>>> from BeautifulSoup import BeautifulSoup>>>>>> html = """... ... ... ... ...
遍历子元素 jQ+js结合
暖栀的博客
09-13 872
        var arr=[];                  var s = $('.tbody>tr');         for(var a=0;a<s.length;a++){             console.log(s[a]);             var da={};             da.openid=s[a].children[1].i...
Python isinstance() 函数使用方法简介
freshman_web的博客
06-24 1276
isinstance() 函数来判断一个对象是否是一个特定类型，类似于type()函数。 比如 isinstance(tr, bs4.element.Tag) 这一语句可以用来判断tr(一个预先获取或定义的内容）是否属于bs4库中tag类型。 如果是，返回True；如果不是，返回False。 与type()== bs4.element.Tag 不同，type()会认为子类类型不同于父类类型，而isinstance()默认子类继承了父类的类型。 如果要判断两个类型是否相同，推荐使用 isinstance()函
Beautiful Soup 基础入门
09-03
以下是 Beautiful Soup 的基础入门步骤： 1. 安装 Beautiful Soup： 你可以使用 pip 来安装 Beautiful Soup。在命令行中运行以下命令： ``` pip install beautifulsoup4 ``` 2. 导入 Beautiful Soup： 在你的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值