使用Beautiful Soup解析库

最新推荐文章于 2021-10-26 16:46:10 发布
最新推荐文章于 2021-10-26 16:46:10 发布
阅读量492 收藏
点赞数 2
分类专栏： python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/S_123789/article/details/101113163
版权
本文详细介绍了Beautiful Soup库的使用，包括简介、支持的解析器、基本用法和节点选择器。节点选择器中讲解了提取信息、嵌套选择、关联选择（子节点、父节点、兄弟节点）的方法。此外，还提到了查询方法如find_all()和find()，以及如何利用CSS选择器进行更灵活的选择。
摘要由CSDN通过智能技术生成

文章目录

使用Beautiful Soup解析库

简介

支持的解析器

基本用法

html ="""
<html id="html" manifest="offlintab.appcache">
  <meta charset="utf-8">
  <title>新标签页</title>
  <base>
  <link type="text/css" rel="stylesheet" href="/static/css/offlintab-468.css">
  <script type="application/javascript" src="/static/js/offlintab-468.js"></script>
  <body id="body">
  """
  
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml') 
print(soup.prettify())  #把要解析的字符串以标准的缩进格式输出
print(soup.title.string) #输出HTML中title节点的文本内容
#soup.title可以选出HTML中的title节点，再调用string属性就可以得到里面的文本

节点选择器

说明：直接调用节点的名称就可以选择节点元素，再调用string属性就可以得到节点内的文本了，这种选择方式速度非常快。如果单个节点结构层次非常清晰，可以选用这种方式来解析。

提取信息

说明：包括选择元素、获取内容、获取名称、获取属性简单用法

代码说明：

html ="""
 <a id="export-to" download="exported.json" hidden="true">
    <title>新标签页</title>
    <a id="setdefault" hidden="true">设为默认浏览器</a>
    <p id="promo" hidden="true">
      <button title="关闭"></button>
    </a>
    <nav id="navpane">
      <a id="fx-accounts" hidden="true"></a>
      <a data-pane="nav" title="切换至导航页">Nav</a>
      <a data-pane="blank" title="切换至空白页">Blank</a>
    </nav>
    <footer id="footer">
      <a href
最低0.47元/天 解锁文章
Ssssun_369
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
万字博文教你python爬虫Beautiful Soup库【详解篇】
孤寒者的博客
07-22 53万+
 ????????相信不少小伙伴们通过我的两篇万字博文的轮番轰炸已经实现了从入坑到会完全学会requests库，并且可以独立开发出属于自己的小爬虫项目！！！——爬虫之路，永无止境~????????     第一篇爬虫入坑：一篇万字博文带你入坑爬虫这条不归路（你还在犹豫什么&抓紧上车） 【❤️熬夜整理&建议收藏❤️】   第二篇爬虫库requests库详解：两万字博文教你python爬虫requests库，看完还不会我把我女朋友都给你【❤️熬夜整理&建议收藏❤️】    ?????
python:使用beautiful soup库解析html、xml页面
老张的博客
04-12 3412
>>> import requests >>> r=requests.get("https://python123.io/ws/demo.html") >>> r.text '<html><head><title>This is a python demo page</title></head>\r\n<body>\r\n<p class="title"><b&g.
JSSoup：JavaScript + BeautifulSoup = JSSoup
02-03
JS汤 我是Python库BeautifulSoup的粉丝。 它功能丰富且非常易于使用。 但是，当我在做一个小型的本机项目时，我试图找到像BeautifulSoup这样HTML解析器库，但失败了。 因此，我想编写一个HTML解析器库，它就像Javascript中的BeautifulSoup一样易于使用。 JSSoup使用作为HTML dom解析器，并在其之上创建一系列类似API的BeautifulSoup。 JSSoup支持node和react-native 。 命名方式 JSSoup尝试使用与BeautifulSoup相同的接口，以便BeautifulSoup用户可以无缝使用JSSoup。
Beautifulsoup script var解析
RobbenEmi的专栏
05-31 2569
大致有一段html如下 <script> var a= 10 var info = {'a':10,'b':20} </script> 解析方法如下，注意：script.text打印处理是空字符串，这里改用了pretty()获取字符串 from bs4 import BeautifulSoup as bs session = requests.Session() res = session.get(url, timeout=10) soup = bs(res.text, '
解析库之Beautiful Soup（一）
Blessy_Zhu的博客
02-22 3814
原创不易，转载前请注明博主的链接地址：Blessy_Zhu https://blog.csdn.net/weixin_42555080 本次代码的环境： 运行平台： Windows Python版本： Python3.x IDE： PyCharm 一 概述 通过正则表达式的学习，可以是吸纳提取页面信息的功能，（相关内容为：Python小知识-正则表达式和Re库（一）和Python小知识-正则表达式...
[python] BeautifulSoup处理script标签
Moke
10-31 6326
import BeautifulSoup soup = BeautifulSoup.BeautifulSoup(html) 利用这个包先把html里script，style给清理了： [script.extract() for script in soup.findAll(‘script’)] [style.extract() for style in soup.findAll(‘style’)]...
基础3·BeautifulSoup库（节点解析库）的使用方法
楼下小白
04-24 658
导入： from bs4 import BeautifulSoup 解析网页代码: soup=BeautifulSoup(ret,‘html.parser’) html.parser:解析器类型 使用函数
Beautiful Soup库详解
代码无常，怀疑人生
04-05 444
Beautiful Soup库详解 ...
Python中使用Beautiful Soup库的超详细教程
09-22
以下是对Beautiful Soup库的详细介绍： 1. **Beautiful Soup简介** - Beautiful Soup库的主要作用是从网页中抓取数据，它提供了Pythonic的API，便于用户进行导航、搜索和修改HTML文档结构。 - 库自身会将输入的...
爬虫---BeautifulSoup库的解析器
锅巴
08-01 1475
bs4库之所以能快速的定位我们想要的元素，是因为他能够用一种方式将html文件解析了一遍 ，不同的解析器有 不同的效果。 网络爬虫的最终目的就是过滤选取网络信息，最重要的部分可以说是解析器。 安装解析器 $ apt-get install Python-lxml $ easy_install lxml $ pip install lxml 使用lxml解析器来解释网页
BeautifulSoup的使用
L13259431663的博客
11-14 240
1、初始化BeautifulSoup对象 url = 'https://hr.163.com/position/list.do?workPlaceStr=1&currentPage=1' resp = requests.get(url, headers=HEADERS) html = resp.text soup = BeautifulSoup(html, 'lxml') 在初始化Bea...
BeautifulSoup的基本使用
wanggaoxingH的博客
06-08 297
涉及到3个知识点 1、创建文件夹，如果没有文件夹则创建(exist_ok为True，False为有文件夹就不创建)，（第8行） 2、requests请求，可以判断返回的状态码是否非200，如果非200，则报错（代码第10行） 3、现实运用中requests和BeautifulSoup这2个是连在一起用的，BeautifulSoup解析文件，基本是解析requsts的返回值，(代码第11hang) 4、图片文件如果要保存需要用二进制wb来保存到本地，且保存文件有2中方式 1.fo...
爬虫5_python2_使用 Beautiful Soup 解析数据
weixin_30622107的博客
03-16 145
使用 Beautiful Soup 解析数据（感谢东哥） 有的小伙伴们对写正则表达式的写法用得不熟练，没关系，我们还有一个更强大的工具，叫Beautiful Soup，有了它我们可以很方便地提取出HTML或XML标签中的内容，实在是方便，这一节就让我们一起来感受一下Beautiful Soup的魅力 1. Beautiful Soup的简介 简单来说，Beautiful Soup是pytho...
BeautifulSoup解析数据
peichaohang的博客
09-10 2032
BeautifulSoup BeautifulSoup是Python独有.简单便捷和高效 安装bs4 pip install bs4 # pip install lxml bs4用到lxml库,如果没有安装过lxml库的时候,需要安装一下 代码使用流程 1、导包 from bs4 import BeautifulSoup 2、创建BeautifulSoup对象 Bea...
python网络爬虫——Beautiful Soup的使用（五）
gets_s的博客
09-18 649
python网络爬虫——Beautiful Soup的使用（五）一、Beautiful Soup的介绍二、Beautiful Soup的使用1、节点选择器2、提取信息3、关联选择4、方法选择器5、CSS选择器 一、Beautiful Soup的介绍 Beautiful Soup是一个强大的解析工具，它借助网页结构和属性等特性来解析网页。 它提供一些函数来处理导航、搜索、修改分析树等功能，Beautiful Soup不需要考虑文档的编码格式。Beautiful Soup在解析时实际上需要依赖解析器，常用的解析
BeautifulSoup库安装以及JSFinder工具使用
wuxinweii的博客
10-26 989
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间. 一、VScode导入BeautifulSoup库 因为电脑环境不相同，你VScode使用的python和本地的python可能不是同一个 1.找到VScode运行的python 在VScode下随便运行一个python脚本，出现的黄色的路径就是VScode运行的python 2.找到该路
学习笔记_02(单元四：Beautiful Soup入门＆单元五：信息标记与提取方法)
weixin_45033674的博客
04-25 298
一、Beautiful Soup入门 1、对Beautiful Soup的理解 1）Beautiful Soup库是解析、遍历、维护‘标签树’的功能库 2）BeautifulSoup对应一个HTML/XML文档的全部内容 3）代码示例（功能库的导入、解析和获取标签） from bs4 import BeautifulSoup #注意这里BeautifulSoup连在一起的，表示导入一个类 soup...
使用 Beautiful Soup 解析网页；
最新发布
06-02
好的，我可以为你解答这个问题。Beautiful Soup 是一个 Python 的第三方库，主要用于解析 HTML 和 XML 的文档。使用 Beautiful Soup 可以轻松地获取网页中的各种信息，例如标签、属性、文本等等。 下面是使用 Beautiful Soup 解析网页的基本步骤： 1. 安装 Beautiful Soup 库。可以使用 pip 工具来安装，命令如下： ``` pip install beautifulsoup4 ``` 2. 导入 Beautiful Soup 库。在 Python 代码中，可以使用以下语句导入 Beautiful Soup 库： ```python from bs4 import BeautifulSoup ``` 3. 获取网页内容。可以使用 Python 的 requests 库来获取网页内容，例如： ```python import requests url = 'https://www.example.com' response = requests.get(url) html = response.text ``` 4. 使用 Beautiful Soup 解析网页。可以使用以下语句来创建一个 Beautiful Soup 对象，并解析网页内容： ```python soup = BeautifulSoup(html, 'html.parser') ``` 其中，第一个参数是网页内容，第二个参数是解析器类型，这里使用的是 Python 的内置解析器。 5. 提取网页中的信息。使用 Beautiful Soup 提供的各种方法，可以轻松地提取网页中的各种信息，例如标签、属性、文本等等。例如： ```python # 获取网页中的标题 title = soup.title.string # 获取所有的链接 links = soup.find_all('a') # 获取第一个 div 标签的 class 属性值 div_class = soup.find('div')['class'] ``` 这就是使用 Beautiful Soup 解析网页的基本步骤。当然，在实际应用中，还需要根据具体的需求来选择相应的方法和参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值