通俗易懂BeautifulSoup的find_all和find

这两个函数非常相似，BeautifulSoup 文档里两者的定义就是这样：
findAll(tag, attributes, recursive, text, limit, keywords)
find(tag, attributes, recursive, text, keywords)

很可能你会发现，自己在95% 的时间里都只需要使用前两个参数：tag 和attributes。但
是，我们还是应该仔细地观察所有的参数。

标签参数tag 前面已经介绍过——你可以传一个标签的名称或多个标签名称组成的Python
列表做标签参数。例如，下面的代码将返回一个包含HTML 文档中所有标题标签的列表：1
.findAll({"h1","h2","h3","h4","h5","h6"})

属性参数attributes 是用一个Python 字典封装一个标签的若干属性和对应的属性值。例
如，下面这个函数会返回HTML 文档里红色与绿色两种颜色的span 标签：
.findAll("span", {"class":{"green", "red"}})

递归参数recursive 是一个布尔变量。你想抓取HTML 文档标签结构里多少层的信息？如果
recursive 设置为True，findAll 就会根据你的要求去查找标签参数的所有子标签，以及子
标签的子标签。如果recursive 设置为False，findAll 就只查找文档的一级标签。findAll
默认是支持递归查找的（recursive 默认值是True）；一般情况下这个参数不需要设置，除
非你真正了解自己需要哪些信息，而且抓取速度非常重要，那时你可以设置递归参数。

 

文本参数text 有点不同，它是用标签的文本内容去匹配，而不是用标签的属性。假如我们
想查找前面网页中包含“the prince”内容的标签数量，我们可以把之前的findAll 方法换
成下面的代码：
nameList = bsObj.findAll(text="the prince")
print(len(nameList))
输出结果为“7”。

 

范围限制参数limit，显然只用于findAll 方法。find 其实等价于findAll 的limit 等于
1 时的情形。如果你只对网页中获取的前x 项结果感兴趣，就可以设置它。但是要注意，
这个参数设置之后，获得的前几项结果是按照网页上的顺序排序的，未必是你想要的那
前几项。
还有一个关键词参数keyword，可以让你选择那些具有指定属性的标签。例如：
allText = bsObj.findAll(id="text")
print(allText[0].get_text())

 

关键词参数的注意事项
虽然关键词参数keyword 在一些场景中很有用，但是，它是BeautifulSoup 在
技术上做的一个冗余功能。任何用关键词参数能够完成的任务，同样可以用
本章后面将介绍的技术解决（请参见2.3 节和2.6 节）。
例如，下面两行代码是完全一样的：
bsObj.findAll(id="text")
bsObj.findAll("", {"id":"text"})
另外，用keyword 偶尔会出现问题，尤其是在用class 属性查找标签的时候，
因为class 是Python 中受保护的关键字。也就是说，class 是Python 语言
的保留字，在Python 程序里是不能当作变量或参数名使用的（和前面介绍
的BeautifulSoup.findAll() 里的keyword 无关）2。假如你运行下面的代码，
Python 就会因为你误用class 保留字而产生一个语法错误：
bsObj.findAll(class="green")
不过，你可以用BeautifulSoup 提供的有点儿臃肿的方案，在class 后面增加
一个下划线：
bsObj.findAll(class_="green")
另外，你也可以用属性参数把class 用引号包起来：
bsObj.findAll("", {"class":"green"})
看到这里，你可能会扪心自问：“现在我是不是已经知道如何用标签属性获取一组标签
了——用字典把属性传到函数里就行了？”
回忆一下前面的内容，通过标签参数tag 把标签列表传到.findAll() 里获取一列标签，其
实就是一个“或”关系的过滤器（即选择所有带标签1 或标签2 或标签3……的一列标
签）。如果你的标签列表很长，就需要花很长时间才能写完。而关键词参数keyword 可以让
你增加一个“与”关系的过滤器来简化工作。