Beautiful Soup库的简介
BeautifulSoup库是解析、遍历、维护“标签树”的功能库。
可以说BeautifulSoup类对应一个HTML/XML文档的全部内容。
Beautiful Soup库安装
只需运行:pip install beautifulsoup4
小测试:
1.先用爬虫爬下来一个网页:
import requests
r = requests.get("http://python123.io/ws/demo.html")
r.text
2. 将网页的内容作为参数传给demo
demo = r.text
from bs4 import BeautifulSoup
soup = BeautifulSoup(demo,"html.parser") #html.parser是HTML解析器,用来解析demo
print(soup.prettify()) #打印出来,查看解析是否正确
安装成功!
BeautifulSoup库的使用:(注意大小写)
from bs4 import BeautifulSoup #引用BeautifulSoup库
soup = BeautifulSoup('<p> data</p>','html.parser')
soup2 = BeautifulSoup(open("D://demo.html"),"html.parser")#通过打开文件的方式
BeautifulSoup库的基本元素
Beautiful Soup库解析器
其实哪种解析器都可以有效解析HTML和xml
基本元素
获得Tag标签的基本方法
- 获得HTML中标签里的内容:
soup.title
或者通过:tag = soup.title
然后tag
效果一样
要以字符串的形式输出标签里的内容则:soup.title.string
- 获取标签的名字:
soup.a.name
获取标签父亲标签的名字:soup.a.parent.name
- 获得标签的属性:
tag = soup.a
后再tag.attrs
结果以字典的方式输出
- 查看类型用:
type(soup.p.string)
见图,soup.p.string打印出来的内容并不包含p中的标签的内容,由此可知 NavigableString 是可以跨越多个标签层次的。 - 用type可以判断出来是否是Comment类型,因为打印时候注释内容也是正常打印出来的。
基于bs4库的HTML内容的遍历方式
标签树的下行遍历:
用法例如:soup.head.contents
标签的儿子还包括字符串节点如\n
len(soup.body.contents)
获得body儿子节点的数量
soup.body.contents[1]
查看其第一个儿子
遍历儿子节点:for child in soup.body.children:
print(child)
遍历孙子节点:for child in soup.body.children:
print(child)
上行遍历:会遍历到soup本身
用法例如看title标签的父亲标签:soup.title.parent
标签html的父亲标签就是它自己
soup是一个特殊的标签,父亲是空的。
一个上行遍历代码:
soup = BeautifulSoup(demo,"html.parser")
for parent in soup.a.parents:
if parent is None:#因为会遍历到soup本身,此时就是None
print(parent)
else:
print(parent.name)
平行遍历:
必须发生在同一个父亲节点下的各个节点之间,否则不构成平行遍历关系,还有NavigableString类型
遍历后续节点:
for sibling in soup.a.next_siblings:
print(sibling)
遍历前续节点:
for sibling in soup.a.previous_siblings:
print(sibling)
基于bs4库的HTML格式化
如何让HTML更加“友好”的显示?
用的是 bs4库的 prettify()方法,能够对文本加换行符
基于bs4的HTML内容查找方法
<>.find_all(name,attrs,recursive,string,**kwargs)
返回一个列表类型,存储查找的结果。
name:对标签名称的检索字符串
attrs:对标签属性值的检索字符串,可标注属性检索
recursive:是否对子孙所有进行搜索,默认为true
=====================================================================
小例子:
1.循环遍历a标签并打印出a标签下href的内容:
for link in soup1.find_all('a'):
print(link.get('href'))
2.根据id找标签
3.查找含有特定字符串的标签的信息:
4.循环遍历输出a标签里的内容
5. 为True时返回所有的标签
<tag>(..)
等价于 <tag>.find_all(..)
soup(..)
等价于 soup.find_all(..)
扩展方法:
区别仅在与检索区域的不同和返回个数的不同
*注:文章图片来自mooc课件截图