Python学习笔记 —— 信息组织与提取与BeautifulSoup库（上）

---

关于BeautifulSoup库

BeautifulSoup库，也叫 beautifulsoup4 或 bs4。
常用方法：

from bs4 import BeautifulSoup （注意大写）
也可以在需要的时候直接
import bs4

BeautifulSoup库是一个能够解析，维护，遍历标签树的功能库。
其对应着一个HTML/XML文档的全部内容

soup = BeautifulSoup(mk,‘html,.parser’)
使用了bs4库中的HTML解释器

BeautifulSoup库的基本元素

<p class='title'>.....</p>
包含基础元素：
Tag：标签，最基本的信息组织的单元，分别用<>和</>表示
Name：标签的名字，《p>…《/p>的名字是‘p’，格式是<tag》.name
Attributes:标签的属性，字典形式组织，格式：<tag》.attrs
NavigableString：标签内非属性字符串，格式<tag》.string
Comment:标签内字符串的注释部分，一种特殊的Comment类型

TAG标签

任何存在于HTML语法中的标签都可以用soup.<tag》访问获得
当存在多个相同《tag》对应内容时，soup.<tag》返回第一个

每个tag都有自己的名字，通过《tag》.name获取，字符串类型

一个《tag>可以有0或多个属性，字典类型

tag中的NavigableString可以跨越多个层次

HTML的基本格式及遍历

树的下行遍历

属性	说明
.content	子节点的列表，将<tag 中所有儿子节点存入列表
.children	子节点的迭代类型，与.content类似，用于循环遍历儿子节点
.descendants	子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

BeautifulSoup类型是标签树的根节点

for child in soup.body.children:
	print(child)			#遍历儿子节点

for child in soup.body.descendants:
	print(child)			#遍历子孙节点

树的上行遍历

与下行遍历类似，利用.parent(表示节点的父亲类型）和.parents(表示节点父辈标签的迭代类型，用于循环遍历先辈节点）

soup = BeautifulSoup(demo, "html,parser")
for parent in soup.a.parents:
	if  parent is None:
		print(parent)
	else:
		print(parent.name)

遍历时将会遍历所有先辈节点，包括了soup本身，所以要区别判断

bs4库中的清晰表示

利用bs4库中自带的prettify()方法。
.prettify()为HTML文本<>及其内容增加更多的’\n’
.prettify()可应用于标签，方法：<tag》.prettify()

bs4库中，默认将所有HTML输入都变为utf-8编码，所以不需要为了转换编码而担忧，Python 3.x中默认编码就是utf-8，没有解析时的障碍。