BeautifulSoup使用find，find_all常见问题汇总

最新推荐文章于 2024-01-28 14:44:34 发布
最新推荐文章于 2024-01-28 14:44:34 发布
阅读量4.3k 收藏 8
点赞数 2
原文链接：https://www.jianshu.com/p/a087289e88be
版权

1.soup.find(class='abc')报错，原因是find和find_all里面都不能直接把class作为参数，改写成如下任意一种就对了：

第一种，给class后面加下划线soup.find(class_='abc')

第二种，改写成：soup.find(attrs={"class":"abc"})

2.想要查询类名为abc或def怎么办，也就是说 如何在find或find_all里表达逻辑or？

解决办法：soup.find(class_=['abc','def'])

3.如何获得标签中的属性的值，比如获取href的内容？

<a href='www.baidu.com'>hehehe</a>

写成：soup.a.get('href')  输出就会是hehehe



 

草尖上的舞动
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python3实现网络爬虫之BeautifulSoup使用详解
09-19
主要介绍了python3实现网络爬虫之BeautifulSoup使用详解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
beautifulsoup里面的find()和findall()小代码测试
01-20
然而find_all()却要一次查找好多！ 代码： import requests from bs4 import BeautifulSoup r = requests.get(https://python123.io/ws/demo.html) demo = r.text soup = BeautifulSoup(demo, html.parser) print...
Python中bs4的soup.find()和soup.find_all()用法
最新发布
weixin_51789297的博客
01-28 5807
我们在使用python对网页爬虫的时候，经常会得到一些html数据，因此我们就会利用soup.find()和soup.find_all()方法来筛选出想要的数据。
python fine函数_python爬虫日志(5)find(),find_all()函数
weixin_39819393的博客
11-20 406
1.一般来说，为了找到BeautifulSoup对象内任何第一个标签入口，使用find()方法。 以上代码是一个生态金字塔的简单展示，为了找到第一生产者，第一消费者或第二消费者，可以使用Beautiful Soup。找到第一生产者：生产者在第一个标签里，因为生产者在整个html文档中第一个标签中出现，所以可以使用find()方法找到第一生产者，在ecologicalpyramid.py中写入下面一...
Python：BeautifulSoup之soup.find_all()用法
热门推荐
Yummy的博客
11-15 2万+
1. 查找标签soup.find_all('tag') 2. 查找文本soup.find_all(text='text') 3. 根据id查找soup.find_all(id='tag id') 4. 使用正则soup.find_all(text=re.compile('your re')), soup.find_all(id=re.compile('your re')) 5. 指定属性查找标签soup.find_all('tag', {'id': 'tag id', 'class': 'tag ...
python_BeautifulSoup库的find和find_all函数中出现class_
dmxbb的博客
11-03 4749
因为class是python的保留关键字，若要匹配标签内class的属性，需要特殊的方法，有以下两种： 在attrs属性用字典的方式进行参数传递 BeautifulSoup自带的特别关键字class_ # 第一种:在attrs属性用字典进行传递参数 find_class = soup.find(attrs={'class':'item-1'}) print('findclass:',find_class,'\n') # 第二种:BeautifulSoup中的特别关键字参数class_ beautifulso
【Python爬虫】Beautifulsoup4中find_all函数
一个甜甜的大橙子的博客
04-25 2万+
find_all() find_all( name , attrs , recursive , text , **kwargs ) find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件.这里有几个例子: soup.find_all("title") #[<title>The Dormouse's story</title>] soup.f...
BeautifulSoup1_zip_BeautifulSoup1.zip_
09-29
5. **提取数据**：通过`get_text()`、`find_all()`等方法提取元素的文本内容或属性值。 要理解并使用这个"BeautifulSoup1.py"文件，你需要具备基本的Python编程知识以及对HTML和网页抓取的理解。如果你还不熟悉...
python 20、爬虫 06-1_多线程爬虫、BeautifulSoup模块_Day06_am.mp4
03-09
python 20、爬虫 06-1_多线程爬虫、BeautifulSoup模块_Day06_am.mp4
BeautifulSoup Project_python_
10-01
例如，我们可以使用`find()`或`find_all()`方法找到特定标签。 ```python movie_titles = soup.find_all('h3', class_='lister-item-header') ``` 4. **提取数据**：找到目标元素后，我们可以提取其文本、属性值...
beautifulsoup 根据class属性查找标签的方法。
weixin_30629653的博客
04-01 1万+
写爬虫的时候遇到的： 导入beautifulSoup后， 查找类似<div class = "abcd">的时候， 直接使用beautifulsoup的方法： soup.findall("div", class="abcd") 这样写的时候回报错， 按照官方的一种方法写在class后加“_“试了试没什么用。虽说不报错，但返回的时空，匹配不到值， ...
python beautifulsoup4 findall_BeautifulSoup获取的tag不完整。
weixin_29533233的博客
01-14 820
1.问题描述通过urllib2.urlopen().read()打印出的html源码中tbody有多对tr标签，但是使用soup.findAll("tbody")获取的tr标签就只有两对，而且内容不全，希望大神帮助。2. 源代码：# -*- coding: UTF-8 –*-import urllib2from bs4 import BeautifulSoupUrl = 'http://guoji...
Python爬虫必知必会：BeautifulSoup之find_all参数速览
余欲与鱼语渔
12-23 1万+
find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件. find_all( name , attrs , recursive , string , **kwargs ) 1. name 参数 name 参数可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉. 简单的用法如下: soup.find_all("title") # [<title>The Dormouse's story</title>] 重申: 搜索 name 参数的值可
数据抓取 --Beautiful Soup库的使用问题（3） - 使用find或者find_all的时候 非class 或者 id 的时候定位出现问题。
weixin_42555401的博客
07-24 890
数据抓取 --Beautiful Soup库的使用问题（2） 使用 find_all，Tag 和 find 基本解决爬虫中的95%以上有难度的需求 在爬取数据的时候我们会使用find或者find_all 来定位tag标签的位置。 举例：通常使用 class_ 或者 id 都能找到对应的。 # 5.前台价格 retail_price = soup.find(id=...
【Python技能树共建】Beautiful Soup
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
05-08 2万+
Beautiful Soup模块是什么 初学 Python 爬虫，十之八九你采集的目标是网页，因此快速定位到网页内容，就成为你面临的第一道障碍， 本篇博客就为你详细说明最易上手的网页元素定位术，学完就会系列。 本文核心使用到的是 Beautiful Soup 模块，因此我们用来做测试采集的站点，也是其官网（现阶段爬虫采集越来越严格，很多站点不能在采集了，很容易被封杀，只能学谁就采集谁了） 官方站点 www.crummy.com/software/BeautifulSoup/ Beautiful Soup
关于soup.find_all的一直报错的原因（find_all的使用方法）
S_String的博客
10-27 1608
关于soup.find_all的一直报错的原因（find_all的使用方法） 错误使用方法 寻找标签是a，类名class是j_th_tit的节点 all = soup.find_all("a",class_="j_th_tit") find_all相关API 查找标签 soup.find_all(‘tag’) 查找文本 soup.find_all(text=‘text’) 根据id查找 soup.find_all(id=‘tag id’) 使用正则 soup.find_all(text=re.comp
Beautiful Soup之find()和find_all()的基本使用
chengstudying的博客
08-12 1万+
1.HTML文本 这里以官方文档提供的html代码来演示Beautiful Soup中find_all()和find()的基本使用。 <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="stor
Android 快速搜索(QuickSearchbox)中如何搜索日历
奥特曼
11-21 1741
前言          欢迎大家我分享和推荐好用的代码段~~ 声明          欢迎转载，但请保留文章原始出处：          CSDN：http://www.csdn.net          雨季o莫忧离：http://blog.csdn.net/luckkof 正文   1.快速搜索中选择全部，输入日历名称地点等无法搜索到日历 在Quick
BeautifulSoup应用笔记（3）- 搜索文档树
Wind_的专栏
11-24 604
搜索文档树 过滤器 过滤器可以被用在tag的name中、节点的属性中、字符串中或它们的混合中。过滤器包括字符串、增则表达式、列表、True及方法。 字符串 会查找与字符串完整匹配的内容： soup.find_all('b') # [The Dormouse's story] 正则表达式 会通过正则表达式的match()进行匹配： for tag in soup.find_all(r
怎样使用beautifulsoup中find_all方法
05-05
使用 `find_all()` 方法可以在 HTML 或 XML 文档中查找特定标签的所有实例。以下是使用 `find_all()` 方法的一般语法： ```python find_all(name, attrs, recursive, string, limit, **kwargs) ``` 参数说明： - `name`: 可以是标签的字符串名称、标签的正则表达式、列表或函数。 - `attrs`: 可以是一个字典或一个关键字参数，表示标签的属性的名称和值。 - `recursive`: 是否递归查找子标签。默认为 True。 - `string`: 可以是标签的字符串名称、标签的正则表达式、列表或函数。 - `limit`: 返回找到的结果的最大数量。默认为 None，即返回所有结果。 - `**kwargs`: 其他关键字参数可以用来指定标签的其他属性和值。 以下是一个例子，使用 `find_all()` 方法查找 HTML 文档中的所有 `<a>` 标签： ```python from bs4 import BeautifulSoup html_doc = """ <html> <head> <title>BeautifulSoup Example</title> </head> <body> <div> <a href="http://www.google.com">Google</a> <a href="http://www.baidu.com">Baidu</a> <a href="http://www.yahoo.com">Yahoo</a> </div> </body> </html> """ soup = BeautifulSoup(html_doc, 'html.parser') links = soup.find_all('a') for link in links: print(link.get('href'), link.string) ``` 以上代码将输出以下结果： ``` http://www.google.com Google http://www.baidu.com Baidu http://www.yahoo.com Yahoo ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值