BeautifulSoup4

Beautiful Soup常用的方法和属性

1.find_all() 方法：

find_all()方法搜索当前tag的所有符合过滤条件的tag子节点。在搜索子节点的时候，我们不仅可以制定要搜索的子节点的标签名，还可以添加过滤条件，更精确的选择我们需要的子节点

2.find() 方法：

find()方法和find_all()方法的参数和用法几乎一样，只不过find()方法只选取符合条件的第一个标签

3.get_text()方法:

如果只想得到tag中包含的文本内容,那么可以使用get_text()方法,这个方法获取到tag中包含的所有文版内容包括子孙tag中的内容,并将结果作为Unicode字符串返回。

4.获取节点属性的方法：

对于，我们想获取它的href属性值，即www.baidu.com。或者对于其他的节点元素，我们想要获取name、class、id等属性值的时候，我们可以采用下面的方法：

trs = bs.find_all("a")
for tr in trs:
    print(tr["href"])

5.select()方法:

通过使用bs库中的select()方法，我们可以使用CSS选择器来选择我们需要的标签。也就是说，我们可以通过标签名，标签的class、标签的id，通过标签的name、href等属性来选择我们的元素。使用该方法返回的是一个迭代器，我们可以通过for…in…循环遍历。

6.string属性：

如果一个节点只包含一个文本节点，或者是只包含一个节点，那么可以使用该属性获取该文本节点的文本内容，或者是这个节点的文本内容。但是如果一个节点下面有很多子孙节点，使用string属性在获取文本的时候，最终返回的是None。这个时候我们应该使用下面的属性。

7.strings属性：

如果一个节点下面有很多子孙节点，我们可以使用strings属性来获取其子孙节点的所有文本。该属性最终返回的是一个迭代器，我们可以通过for…in…循环来遍历。

8.stripped_strings属性：

在使用上述strings属性获取一个节点中后代文本的时候，可能或出现换行和空格等空白文本，这样在处理的时候会出现麻烦，如果不想获取换行和空格，那么我们可以使用stripped_strings属性。该属性和strings属性一样，返回的也是迭代器，不能直接打印，需要使用for…in…循环来遍历

9.contents属性：

该属性返回的是某个节点下的全部子元素，包括子元素的标签名和文本内容。返回的数据类型是列表。

10.children属性:

该属性和contents属性的用法是一样的，但是返回的数据类型是迭代器。

Beautiful Soup4中四中常见的对象

1.Tag对象：

• Beautiful Soup中所有的标签都是Tag类型，并且通过bs = BeautifulSoup(html_str, ‘lxml’)方法常见的bs对象在本质上也是Tag类型。我们我们前面说到的find_all()、find()等方法，也都是Tag对象的方法。

2.BeautifulSoup对象

• 通过bs = BeautifulSoup(html_str, ‘lxml’)方法常见的bs是BeautifulSoup对象，BeautifulSoup继承自Tag对象。所以我们之前说bs在本质上是Tag类型，而且BeautifulSoup对象的find_all()、find()也是继承自Tag对象的。

3.NavigableString对象

• 该对象继承自Python中的str对象，用起来和str一样

4.Comment对象

• 这个对象继承自NavigableString对象