BeautifulSoup4

最新推荐文章于 2023-11-17 14:24:40 发布
最新推荐文章于 2023-11-17 14:24:40 发布
阅读量118 收藏
点赞数
分类专栏： Python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40932679/article/details/115643136
版权

基本概念

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的网页信息提取库

源码分析

  • github下载源码
  • 安装
    • pip install lxml
    • pip install bs4

bs4的使用

快速开始

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""
# 获取bs对象
bs = BeautifulSoup(html_doc,'lxml')
# 打印文档内容(把我们的标签更加规范的打印)
print(bs.prettify())
print(bs.title) # 获取title标签内容 <title>The Dormouse's story</title>
print(bs.title.name) # 获取title标签名称 title
print(bs.title.string) # title标签里面的文本内容 The Dormouse's story
print(bs.p) # 获取p段落

bs4的对象种类

  • tag : 标签
  • NavigableString : 可导航的字符串
  • BeautifulSoup : bs对象
  • Comment : 注释

遍历文档树 遍历子节点

bs里面有三种情况，第一个是遍历，第二个是查找，第三个是修改

contents children descendants

  • contents 返回的是一个所有子节点的列表
  • children 返回的是一个子节点的迭代器通
  • descendants 返回的是一个生成器遍历子子孙孙

string  strings stripped_strings

  • string获取标签里面的内容
  • strings 返回是一个生成器对象用过来获取多个标签内容
  • stripped_strings 和strings基本一致 但是它可以把多余的空格去掉

遍历文档树 遍历父节点

parent 和 parents

  • parent直接获得父节点
  • parents获取所有的父节点

遍历文档树 遍历兄弟结点

  • next_sibling 下一个兄弟结点
  • previous_sibling 上一个兄弟结点
  • next_siblings 下一个所有兄弟结点
  • previous_siblings上一个所有兄弟结点

搜索树

  • 字符串过滤器
  • 正则表达式过滤器

 我们用正则表达式里面compile方法编译一个正则表达式传给 find 或者 findall这个方法可以实现一个正则表达式的一个过滤器的搜索

  • 列表过滤器
  • True过滤器

find_all() 和 find()

find_all()

  • find_all()方法以列表形式返回所有的搜索到的标签数据
  • find()方法返回搜索到的第一条数据
  • find_all()方法参数
def find_all(self, name=None, attrs={}, recursive=True, text=None,
                 limit=None, **kwargs):
  • name : tag名称
  • attr : 标签的属性
  • recursive : 是否递归搜索
  • text : 文本内容
  • limli : 限制返回条数
  • kwargs : 关键字参数

 

html = """
<table class="tablelist" cellpadding="0" cellspacing="0">
    <tbody>
        <tr class="h">
            <td class="l" width="374">职位名称</td>
            <td>职位类别</td>
            <td>人数</td>
            <td>地点</td>
            <td>发布时间</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=33824&keywords=python&tid=87&lid=2218">22989-金融云区块链高级研发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-25</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="_blank" href="position_detail.php?id=29938&keywords=python&tid=87&lid=2218">22989-金融云高级后台开发</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2017-11-25</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=31236&keywords=python&tid=87&lid=2218">SNG16-腾讯音乐运营开发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>深圳</td>
            <td>2017-11-25</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="_blank" href="position_detail.php?id=31235&keywords=python&tid=87&lid=2218">SNG16-腾讯音乐业务运维工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-25</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=34531&keywords=python&tid=87&lid=2218">TEG03-高级研发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="_blank" href="position_detail.php?id=34532&keywords=python&tid=87&lid=2218">TEG03-高级图像算法研发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=31648&keywords=python&tid=87&lid=2218">TEG11-高级AI开发工程师（深圳）</a></td>
            <td>技术类</td>
            <td>4</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="_blank" href="position_detail.php?id=32218&keywords=python&tid=87&lid=2218">15851-后台开发工程师</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="_blank" href="position_detail.php?id=32217&keywords=python&tid=87&lid=2218">15851-后台开发工程师</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a id="test" class="test" target='_blank' href="position_detail.php?id=34511&keywords=python&tid=87&lid=2218">SNG11-高级业务运维工程师（深圳）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>深圳</td>
            <td>2017-11-24</td>
        </tr>
    </tbody>
</table>
"""

select()方法

我们也可以通过css选择器的方式来提取数据。但是需要注意的是这里面需要我们掌握css语法

https://www.w3school.com.cn/cssref/css_selectors.asp

修改文档树

  • 修改tag的名称和属性
  • 修改string  属性赋值,就相当于用当前的内容替代了原来的内容
  • append() 像tag中添加内容,就好像Python的列表的 .append() 方法
  • decompose() 修改删除段落，对于一些没有必要的文章段落我们可以给他删除掉

 

  •  
天道工作室
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
离线安装python Beautifulsoup4库
02-08
离线安装python Beautifulsoup4库
B06_2_HTML解析库BeautifulSoup4.md
05-23
HTML解析库BeautifulSoup4 HTML解析库BeautifulSoup4!!!
python爬虫（四）------bs4库（二）------BeautifulSoup的findall()、find(()、select()和select_one()等方法
m0_59389084的博客
08-12 2220
python爬虫（四）------bs4库（二）------BeautifulSoup的findall()、find(()、select()和select_one()等方法
爬虫-初次接触
hold_on_的博客
01-23 170
#get()是获取网页最常见的方式 import requests from bs4 import BeautifulSoup ####################################第一步###################################### #在调用requests.get()函数之后，返回的网页内容会保存为一个Response对象 #get()函数...
BeautifulSoup中find_all()和select()的区别
Longlong的博客
07-13 2232
在学习bs4的过程中，发现有的文章教程是使用find_all(),有的使用select(),二者在功能上很像，而且都是返回页面中所有，所以有了一个疑问，二者有什么区别呢？。 搜索了之后，有一篇文章将官方文档的解释扒了下来： 具体链接：find_all()和 select()的区别 具体就是： select()是使用CSS选择器的语法找到tag 如： find_all()方法搜索当前tag的所有tag子孙节点,并判断是否符合过滤器的条件 反正我现在还看不懂，总之就是二者的底层实现不同。 但是功能是相同的。
[学习笔记] python爬虫进阶BeautifulSoup 超详细的find_all()和find
Despacit0的博客
04-25 1万+
原文：http://bbs.fishc.com/thread-90638-1-1.html超详细的find_all()和find推荐阅读：BeautifulSoup节点 在之前的帖子里我们已经使用过了find_all，不过对于find_all，有的东西还得说明一下 这就是find_all和find，别急，我们慢慢来，熟练掌握find_all和find,对你写爬虫将大有帮助！find_all( na...
python爬虫（1）——BeautifulSoup库函数find_all()
depers15的博客
07-17 3万+
python——BeautifulSoup库函数find_all()一、语法介绍find_all( name , attrs , recursive , string , **kwargs ) find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件二、参数及用法介绍1、name参数这是最简单而直接的一种办法了，我么可以通过html标签名来索引；sb = soup.f
beautifulsoup4-4.7.1-py2-none-any.whl
05-12
beautifulsoup4 python
bs4_beautifulsoup4.zip
08-18
Python中用于网络爬虫读取网页的函数库，BeautifulSoup是python解析html非常好用的第三方库！
beautifulsoup4-4.6.3
09-14
python模块beautifulsoup最新版本4.6.3。python进行爬虫时引用到BeautifuSoup开源的xml解析工具。 将压缩包解压后放入到python的安装目录(D:\Python**\beautifulsoup4-4.6.0)
学习笔记（1):150讲轻松搞定Python网络爬虫-整装待发-爬虫开发工具安装
imcman的博客
01-22 76
【为什么学爬虫？】        1、爬虫入手容易，但是深入较难，如何写出高效率的爬虫，如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中，经常容易遇到被反爬虫，比如字体反爬、IP识别、验证码等，如何层层攻克难点拿到想要的数据，这门课程，你都能学到！        2、如果是...
学习笔记（11):150讲轻松搞定Python网络爬虫-简单优雅的requests库
qq_39953480的博客
12-15 98
【为什么学爬虫？】        1、爬虫入手容易，但是深入较难，如何写出高效率的爬虫，如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中，经常容易遇到被反爬虫，比如字体反爬、IP识别、验证码等，如何层层攻克难点拿到想要的数据，这门课程，你都能学到！        2、如果是...
【Python网络爬虫】150讲轻松搞定Python网络爬虫付费课程笔记 篇十——爬取豆瓣电影TOP250（实战）
weixin_44566432的博客
09-19 557
爬取豆瓣电影Top250信息 import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36' } def get_detail_urls(url): #获取详情页面url.
爬虫学习——爬虫之soup.select()用法浅析
热门推荐
geerniya的博客
09-04 4万+
在学习Python爬虫过程中，主要用两个模块：import requests from bs4 import BeautifulSouprequests用于将链接转化成html语言，而BeautifulSoup则用于查找需要的内容。最开始一般写成如下格式：res = requests.get('https://www.qiushibaike.com/hot/#') #以糗事百科为例 soup =
python爬虫之Beautiful Soup库，基本使用以及提取页面信息
10-04 5505
Python 爬虫正则表达式和re库在爬虫过程中，可以利用正则表达式去提取信息，但是有些人觉得比较麻烦。因为花大量时间分析正则表达式。这时候可以用高效的网页解析库Beautiful Soup。Beautiful Soup 是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据。
BeautifulSoup 使用select方法详解
天才幻想家
07-03 2235
html = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title" name="dromouse"><b>The Dormouse's story</b></p>...
关于soup.find 和 soup.select 的使用
最新发布
quhaoyang123的博客
11-17 325
获取网站视频f.close()
处理soup.select()中的填写以及爬取信息出现空列表的情况
Prodigal
11-04 1万+
soup.select以及爬取信息出现空列表的情况举例一、先说soup.select()中的填写方法一方法二headers的修改方法，以及伪造假登陆。修改headers伪造假登陆 举例 以爬取csdn首页为例 https://www.csdn.net/ 一、先说soup.select()中的填写 方法一 直接 检查 右键 copy–&amp;amp;gt;selector 有些网站做有反爬取，（例如58同城）...
BeautifulSoup 执行tds=tr.findall(“td“)报错
bigcarp的专栏
01-06 260
拼写大小写错误。BeatufulSoup并没有findall()，但有findAll()
beautifulsoup4
08-12
BeautifulSoup4是一个用于解析HTML和XML文档的Python库。它可以帮助我们从网页中提取数据，并提供了简洁而灵活的API来处理HTML标记。 BeautifulSoup4的安装非常简单，可以使用pip命令来安装： ``` pip install beautifulsoup4 ``` 安装完成后，我们可以在Python脚本中导入BeautifulSoup模块，然后使用它来解析网页内容，查找和提取我们需要的数据。 以下是一个简单的示例，演示了如何使用BeautifulSoup来解析网页并提取其中的链接： ```python from bs4 import BeautifulSoup import requests # 发送HTTP请求获取网页内容 response = requests.get("http://example.com") # 使用BeautifulSoup解析网页内容 soup = BeautifulSoup(response.text, "html.parser") # 查找所有的链接 links = soup.find_all("a") # 打印链接 for link in links: print(link.get("href")) ``` 这只是BeautifulSoup4的基本用法，它还提供了许多其他功能，如搜索文档树、修改文档、处理CSS选择器等。你可以参考官方文档来了解更多信息：https://www.crummy.com/software/BeautifulSoup/bs4/doc/

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天道工作室

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值