BeautifulSoup补充

此博文是对之前博文的补充 ：https://blog.csdn.net/Clany888/article/details/81986302

from bs4 import BeautifulSoup

soup = BeautifulSoup(html,'lxml') # 不标准的HTML字符串BeautifulSoup可以自动更正格式

soup.prettify() # 将要解析的字符串按照标准缩进格式输出，结果中含有bady和html节点

1、节点选择器

直接调用节点的名称就可以选择节点元素，再调用string属性就可以得到节点内的文本啦。

提取信息：

节点属性：

获取名称：

可以使用soup.title.name 利用name获取节点的名称

获取属性：

• 可以使用soup.p.attrs 利用attrs获取所有属性，返回字典。通过字典读取具体的值
• 还可以直接在节点元素后面加[ ]中括号，传入属性名就可以获取属性值了，这里需要注

意有的返回的结果是字符串（单个），有的返回的结果是列表（多个的时候）。

获取内容：

可以利用string属性获取节点元素包含的文本内容。例如想要获取一个p节点的文本内容

soup.p.string

 

嵌套选择：

上面每一个返回的结果都是bs4.element.Tag类型，它同样可以继续调用节点进行下一步 的选择。

soup.head.title

soup.head.title.string

 

关联选择：

在做选择的时候有时候不能做到一步就选到想要的节点元素，需要想选中某一个节点元素，然后以它为基准再选择它的的子节点、父节点、兄弟节点等

子节点和子孙节点

• 选取节点元素后，如果想要获取它的直接子节点，就可以调用contents属性。（返回结果是列表形式，p节点里既包含文本，又包含节点，最后会将它们以列表的形式统一返回；列表里面的每个元素都是p节点的直接子节点。比如第一个a节点里面包含一层span节点，这相当于孙子节点了，但是返回结果并没有单独把span节点选出来，所以说，contents属性得到的结果是直接子节点的列表）
• 同样，可以调用children属性得到相应的结果；

soup.p.children

for i,child in enumerate(soup.p.children):

print(i,child)

调用children属性来选择，返回结果是生成器类型。利用for输出相应的内容。

• 如果想要得到所有的子孙节点的话，可以调用descendants属性；

返回结果也是生成器，遍历输出一下可以看到，这次输出的结果就包含了span节点。descendants会递归查询所有子节点，得到所有的子孙节点。

 

父节点和祖先节点

• 如果想要获取某个节点元素的父节点，可以调用parent属性；输出结果为父节点及其内部的内容包括内部的节点。（注意，这里parent获取到的仅仅是直接父节点，而没有再向外寻找节点的祖先节点）
• 如果想要获取所有的祖先节点，可以调用parents属性；返回结果是生成器类型。

 

兄弟节点（兄弟节点即同级的节点）

• soup.a.next_sibling和previous_sibling分别获取节点的下一个和上一个兄弟元素
• next_siblings 和 previous_siblings 分别返回所有前面和后面的兄弟节点的生成器。

 

提取信息

• soup.a.next_sibling........soup.a.next_sibling.string.......soup.a.parents[0].attrs['class'].....类似的方法

 

 

2、方法选择器

• find_all(name , attrs , recursive , text , **kwargs)

name:可以根据节点名来查询元素

attrs:传入属性来查询；soup.find_all(attrs={'id':'list_id'})

text:参数用来匹配节点的文本，传入的形式可以是字符串，也可以是正则表达式对象。soup.find_all(text=re.compile('link'))

 

• find

find返回的是单个元素，也就是第一个匹配的元素，而findall返回的是所有匹配的元素组成的列表。

 

find_parents()和find_parent():前者返回所有祖先节点，后者返回直接父节点

find_next_sublings()和find_next_sibling():前者返回后面所有的兄弟节点，后者返回后面第一个兄弟节点。

find_previous_siblings()和find_previous_sibling():前者返回前面所有的兄弟节点，后者返回前面第一个兄弟节点。

 

find_all_next()和find_next(): 前者返回节点后所有符合条件的节点，后者返回第一个符合条件的节点。

find_all_previous()和find_previous():

 

 

3、CSS选择器

使用CSS选择器时，只需要调用select()方法，传入相应的CSS选择器即可。

soup.select('.panel .panel-heading')

soup.select('ul li') # 选择所有ul节点下面的所有li节点，结果便是所有的li节点组成的列表。

soup.select(('ul')[0] # 仍然是Tag类型

 

• 嵌套选择

select()方法同样支持嵌套选择。例如先选择所有ul节点，再遍历每个ul节点，选择其li节点。

• 获取属性

因为节点的类型是Tag类型，所以获取属性还可以用原来的方法。

for ul in soup.select('ul'):

print(ul['id'])

print(ul.attrs['id'])

可以看到，直接传入中括号和属性名，以及通过attrs属性获取属性值，都OK。

• 获取文本

获取文本同样可以使用string。 此外，还可以使用 get_text()

for li in soup.select('li'):

print('String:', li.string)

print('Get Text:', li.get_text())

 

---END---