BeautifulSoup中的find和findAll用法详解

最新推荐文章于 2024-04-15 21:58:50 发布

衛國同學

最新推荐文章于 2024-04-15 21:58:50 发布

阅读量2.5k

点赞数 7

分类专栏：笔记文章标签：爬虫 python

本文链接：https://blog.csdn.net/qq_53254126/article/details/117936054

版权

笔记专栏收录该内容

5 篇文章 0 订阅

订阅专栏

首先来看看这两个方法之间的区别

findAll(tag,attributes,recursive,
text,limit,keywords)

find(tag,attributes,recursive,text,
keywords)

其实大部分时间很多人用这两个方法都只需要前两个参数，但它们之间的区别就在于参数limit那么我们来看一看参数limit到底有什么用?
首先来看一个例子：
爬取p.html文件

#test.py文件
from urllib.request import urlopen
from bs4 import BeautifulSoup
html=urlopen('file:///C:/Users/Ly/Desktop/pyhton/p.html')
bs=BeautifulSoup(html,'html.parser')
list_1=bs.findAll('h1',class_='ji')
print(list_1)

<!-- p.html文件-->
<!DOCTYPE html>
<html>
    <head>
        <meta charset="utf-8">
        <title>I DO NOT KNOW</title>
        <style type="text/css">
        h1{
             font-family: 'Courier New', Courier, monospace;
             size: 18px;
             color: aqua;
        }
        </style>
        
    </head>
    <body>
        <h1 class="ji">HAHA</h1>
        <h1 class="ji">WUWU</h1>
        <h1 class="ji">KKK</h1>
    </body>
</html>

运行结果是

[<h1 class="ji">HAHA</h1>, <h1 class="ji">WUWU</h1>, <h1 class="ji">KKK</h1>]

findAll方法默认提取只包含在<h1 class="ji"></h1>的内容并将结果保存在列表里。
如果将limit=1添加在上面代码中，那么就是告诉findAll只获取符合条件的前1项结果，所以结果就是：

[<h1 class="ji">HAHA</h1>]

而find方法则和limit=1时的findAll函数相差不大，在test.py中用find替换findAll，运行结果如下：

<h1 class="ji">HAHA</h1>

注意，一个结果返回的是列表，另一个则是字符串，所以在用findAll方法的基础上再用到.get_text()清除最后结果的标签时，一定要用遍历列表的方式清除列表中每一个元素的标签，而不是整个列表，不然会出现以下错误：

AttributeError: ResultSet object has no attribute 'get_text'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?

第一次写文章，希望大家支持，有什么错误还望大家指出