Py爬虫学习笔记：Beautiful Soup——find_all、select

最新推荐文章于 2022-08-12 11:50:17 发布
最新推荐文章于 2022-08-12 11:50:17 发布
阅读量331 收藏 1
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44980720/article/details/115959909
版权

find_all

用来查询所有节点的方法
案例1:查询所有的a标签

from bs4 import BeautifulSoup

html = """
<html>
  <head>
    <title>优课达</title>
  </head>
  <body>
    <a href="https://www.youkeda.com" alt="学得比别人好一点">优课达</a>
    <ul>
      <li><a href="https://www.youkeda.com">问吧</a></li>
      <li class="info"><a href="https://www.youkeda.com/academy/java">研发学院</a></li>
      <li class="info"><a href="https://www.youkeda.com/academy/python/P2">Python学院</a></li>
      <li class="info last"><a class="download" href="https://www.youkeda.com/app">APP下载</a></li>
    </ul>
  </body>
</html>
"""
result = BeautifulSoup(html, 'html.parser')

# 查询所有的a标签
aList = result.find_all('a')
print(aList)

结果为

[
  <a alt="学得比别人好一点" href="https://www.youkeda.com">优课达</a>,
  <a href
最低0.47元/天 解锁文章
Ucoder喵
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
BeautifulSoup的soup.find_all（）与 soup.select（）赏析
linershigebaobao的博客
06-29 7897
如果我们用BeautifulSoup去解析网页来爬虫，那么90%以上需要用到find_all（），当然如果对CSS更为了解，其实select也是一种相当不错的选择。 from bs4 import BeautifulSoup soup = BeautifulSoup（response.text， 'lxml'） 这是我们常用的炖汤程序，而对于汤的赏析，就需要用soup.find_all（），soup.select（）去细细品味其中滋味。 1、find_all（） find_all（tag，a...
python爬虫之Beautiful Soup库，基本使用以及提取页面信息
10-04 5558
Python 爬虫正则表达式和re库在爬虫过程中，可以利用正则表达式去提取信息，但是有些人觉得比较麻烦。因为花大量时间分析正则表达式。这时候可以用高效的网页解析库Beautiful Soup。Beautiful Soup 是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据。
python爬虫：BeautifulSoup 使用select方法详解
起当风萧的博客
04-06 1万+
转载自 （“**[https://www.cnblogs.com/yizhenfeng168/p/6979339.html](https://www.cnblogs.com/yizhenfeng168/p/6979339.html)**”）。 ```html 1 html = """ 2 <html><head><title>The Dormouse's story</title></head> 3 <body> 4 <p...
python爬虫（四）------bs4库（二）------BeautifulSoup的findall()、find(()、select()和select_one()等方法
m0_59389084的博客
08-12 2344
python爬虫（四）------bs4库（二）------BeautifulSoup的findall()、find(()、select()和select_one()等方法
Python中BeautifulSoup库的用法
热门推荐
阎松的博客
07-23 23万+
BeautifulSoup简介 Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转换...
python爬虫学习笔记（二）——解析内容
01-20
– 获取到网页数据后，我们发现我们想...Beautiful Soup库的安装（Beautiful Soup库是解析、遍历、维护“标签树”的功能库）： 按WIN键+R键打开运行，输入cmd后回车进入命令提示符 pip install beautifulsoup4 然而，
MOOC_北理_python爬虫学习_3（Beautiful Soup库相关）
12-20
for tag in soup.find_all('a', class_='py1'): print(tag) ``` 这就是Beautiful Soup库的基本用法，它为我们提供了一种简洁且强大的方式来解析和操作HTML文档。结合requests库，我们可以实现从网页抓取数据，为...
Python爬虫利器二之Beautiful Soup的用法.zip_python_爬虫_爬虫 python_爬虫 pyth
09-19
headings = soup.find_all('h1') for heading in headings: print(heading.text) # 查找id为'my_id'的元素 element = soup.find(id='my_id') print(element.text) ``` 在上述代码中，我们首先导入了BeautifulSoup...
爬虫之——Beautiful Soup基础
12-21
tags_with_class = soup.find_all(class_='some-class') for tag in tags_with_class: print(tag) # 遍历所有子节点 for child in soup.body.children: print(child) # 遍历所有平行节点 prev_sibling = soup.p....
Python3爬虫学习之爬虫利器Beautiful Soup用法分析
01-21
本文实例讲述了Python3爬虫学习之爬虫利器Beautiful Soup用法。分享给大家供大家参考，具体如下： 爬虫利器Beautiful Soup 前面一篇说到通过urllib.request模块可以将网页当作本地文件来读取，那么获得网页的html...
python爬虫之BeautifulSoup 使用select方法详解
09-21
本篇文章主要介绍了python爬虫之BeautifulSoup 使用select方法详解，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
python爬虫数据解析之BeautifulSoup
an13083611535的博客
04-19 368
BeautifulSoup是一个可以从HTML或者XML文件中提取数据的python库。它能够通过你喜欢的转换器实现惯用的文档导航，查找，修改文档的方式。 BeautfulSoup是python爬虫三大解析方法之一。 首先来看个例子: from bs4 import BeautifulSoup html_doc = """ <html><head&gt...
BeautifulSoup中find_all()和select()的区别
Longlong的博客
07-13 2315
在学习bs4的过程中，发现有的文章教程是使用find_all(),有的使用select(),二者在功能上很像，而且都是返回页面中所有，所以有了一个疑问，二者有什么区别呢？。 搜索了之后，有一篇文章将官方文档的解释扒了下来： 具体链接：find_all()和 select()的区别 具体就是： select()是使用CSS选择器的语法找到tag 如： find_all()方法搜索当前tag的所有tag子孙节点,并判断是否符合过滤器的条件 反正我现在还看不懂，总之就是二者的底层实现不同。 但是功能是相同的。
python爬虫：BeautifulSoup 使用select方法的使用
sym的博客
08-23 2万+
1 html = """ 2 html>head>title>The Dormouse's storytitle>head> 3 body> 4 p class="title" name="dromouse">b>The Dormouse's storyb>p> 5 p class="story">Once upon a time there were three little siste
BeautifulSoup库findAll()、find()方法详解
weixin_34354173的博客
02-09 3457
find()和findAll()官方定义如下： findAll(tag, attributes, recursive, text, limit, keywords) find(tag, attributes, recursive, text, keywords) 95%的时间只用前2个参数：tag，attributes。 tag可以传一个标签的名称或多个标签名称组成的 Python列表做标签参数。...
Python BeautifulSoup4 select方法执行css选择器
FengShanChuiChui的博客
06-09 1万+
初识爬虫，使用urllib结合强大的BeautifulSoup简单写了下代码。看参考书上主要讲解了find方法的使用，但发现其是还支持css选择器语法选择，于是试验了一下。环境为：ubuntu12.04 + pycharm2017.1.3 + python3.6 + urllib + beautifulsoup4构造BeautifulSoup对象首先，我是以爬取搜狗搜索的主页来试验的。其结构大概如此
Beautiful Soup select语法记录
月小水长
09-24 1761
假设有一个这样的html文件 html = """ &lt;html&gt;&lt;head&gt;&lt;title&gt;The Dormouse's story&lt;/title&gt;&lt;/head&gt; &lt;body&gt; &lt;p class="title" name="dromouse"&gt;
Python爬虫编程思想（55）：Beautiful Soup方法选择器之find_all方法
一个被知识诅咒的人
10-16 626
目录 1. name参数 2. attrs参数 3. text参数 前面讲的选择方法都是通过属性来选择节点的，对于比较简单的选择，这种方法使用起来非常方便快捷，但对于比较复杂的选择，这种方法就显得比较笨拙，不够灵活。幸好，Beautiful Soup还为我们提供了一些查询方法，如find_all、find等。调用这些方法，然后传入相应的参数，就可以灵活选择节点了。 find_all方法用于根据节点名、属性、文本内容等选择所有符合要求的节点。find_all方法的...
Python Beautiful Soup 库中find_all的用法
最新发布
03-11
find_all() 是 Beautiful Soup 库中的一个方法，用于查找 HTML 或 XML 文档中的所有符合条件的标签。它可以接受多个参数，包括标签名、属性名和属性值等，用于指定要查找的标签的类型和属性。例如，可以使用以下语句...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值