Beautiful Soup库的使用（学习笔记）

Beautiful Soup库的简介

BeautifulSoup库是解析、遍历、维护“标签树”的功能库。
可以说BeautifulSoup类对应一个HTML/XML文档的全部内容。

Beautiful Soup库安装

只需运行：pip install beautifulsoup4

小测试：
1.先用爬虫爬下来一个网页：

import requests
r = requests.get("http://python123.io/ws/demo.html")
r.text

2. 将网页的内容作为参数传给demo

demo = r.text

from bs4 import BeautifulSoup
soup = BeautifulSoup(demo,"html.parser")  #html.parser是HTML解析器，用来解析demo
print(soup.prettify())  #打印出来，查看解析是否正确

安装成功！

BeautifulSoup库的使用：（注意大小写）

from bs4 import BeautifulSoup  #引用BeautifulSoup库
soup = BeautifulSoup('<p> data</p>','html.parser')
soup2 = BeautifulSoup(open("D://demo.html"),"html.parser")#通过打开文件的方式

BeautifulSoup库的基本元素

Beautiful Soup库解析器

其实哪种解析器都可以有效解析HTML和xml
基本元素

获得Tag标签的基本方法

1. 获得HTML中标签里的内容：soup.title
   或者通过：tag = soup.title 然后 tag
   效果一样
   
   要以字符串的形式输出标签里的内容则：soup.title.string
   
2. 获取标签的名字：soup.a.name
   获取标签父亲标签的名字： soup.a.parent.name
   
3. 获得标签的属性：tag = soup.a
   后再 tag.attrs 结果以字典的方式输出
   
4. 查看类型用：type(soup.p.string)
   
   见图，soup.p.string打印出来的内容并不包含p中的标签的内容，由此可知 NavigableString 是可以跨越多个标签层次的。
5. 用type可以判断出来是否是Comment类型，因为打印时候注释内容也是正常打印出来的。

基于bs4库的HTML内容的遍历方式

标签树的下行遍历：

用法例如：soup.head.contents

标签的儿子还包括字符串节点如\n

len(soup.body.contents) 获得body儿子节点的数量
soup.body.contents[1] 查看其第一个儿子

遍历儿子节点：for child in soup.body.children:
print(child)
遍历孙子节点：for child in soup.body.children:
print(child)

上行遍历：会遍历到soup本身

用法例如看title标签的父亲标签：soup.title.parent
标签html的父亲标签就是它自己
soup是一个特殊的标签，父亲是空的。
一个上行遍历代码：

soup = BeautifulSoup(demo,"html.parser")

for parent in soup.a.parents:
	if parent is None:#因为会遍历到soup本身，此时就是None
		print(parent)
	else:
		print(parent.name)

平行遍历：

必须发生在同一个父亲节点下的各个节点之间，否则不构成平行遍历关系，还有NavigableString类型


遍历后续节点：

for sibling in soup.a.next_siblings:
    print(sibling)

遍历前续节点：

for sibling in soup.a.previous_siblings:
    print(sibling)

基于bs4库的HTML格式化

如何让HTML更加“友好”的显示？
用的是 bs4库的 prettify()方法，能够对文本加换行符

基于bs4的HTML内容查找方法

<>.find_all(name,attrs,recursive,string,**kwargs)
返回一个列表类型，存储查找的结果。
name：对标签名称的检索字符串
attrs：对标签属性值的检索字符串，可标注属性检索
recursive：是否对子孙所有进行搜索，默认为true

=====================================================================
小例子：

1.循环遍历a标签并打印出a标签下href的内容：

for link in soup1.find_all('a'):
    print(link.get('href'))

2.根据id找标签

3.查找含有特定字符串的标签的信息：

4.循环遍历输出a标签里的内容

5. 为True时返回所有的标签

<tag>(..) 等价于 <tag>.find_all(..)
soup(..) 等价于 soup.find_all(..)
扩展方法：
区别仅在与检索区域的不同和返回个数的不同

*注：文章图片来自mooc课件截图