BeautifulSoup入门

最新推荐文章于 2024-02-21 20:10:21 发布

weixin_30576859

最新推荐文章于 2024-02-21 20:10:21 发布

阅读量72

点赞数

文章标签： python

原文链接：http://www.cnblogs.com/infoflow/p/8975272.html

版权

BeautifulSoup库入门

BeautifulSoup库的理解

BeautifulSoup库是解析、遍历、维护”标签树”的功能库

示例代码:

from bs4 import BeautifulSoup
soup = BeautifulSoup("<html>data</html>","html.parser")#第一参数是html文档,第二个参数指定parser类型是html.parser
soup2 = BeautifulSoup(open("d://demo.html"),"html.parser")

BeautifulSoup解析器

解析器	使用方法	条件
bs4的html解析器:	BeautifulSoup(mk,’html.parser’)	安装bs4库
lxml的html解析器:	BeautifulSoup(mk,’lxml’)	pip install lxml
lxml的xml解析器:	BeautifulSoup(mk,’xml’)	pip install lxml
html5lib的解析器:	BeautifulSoup(mk,’html5lib’)	pip install html5lib

BeautifulSoup类的基本元素

基本元素	说明	使用方式
Tag	标签,最基本的信息组织单元,分别用<>和表明开头和结尾	soup.a soup.p soup.head soup.title
Name	标签的名字, \…\<\/p> 的名字是p，格式.name	soup.a.name soup.p.name soup.div.name
Attribute	标签的属性,字典形式组织,格式: .attrs	soup.a.attrs soup.div.attrs
NavigableString	标签内非属性字符串,<>中字符串,格式:.string	soup.a.string soup.p.string
Comment	标签内字符串的注释部分	soup.a.string(会去掉!–和–,只显示注释内容,但是用type(soup.a.string)会返回)

使用BeautifulSoup遍历HTML DOM树

属性	说明
.contents	子节点的列表,将说有儿子节点存入列表
.children	子节点的迭代类型,与.contents类似,用于遍历儿子节点
.descendants	子孙节点的迭代类型,包含所有子孙节点,用于循环遍历
.parent	节点的父亲标签
.parents	节点所有祖先标签,用于循环遍历祖先节点
.next_sibling	返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling	返回按照HTML文本顺序的上一个平行节点标签
.next_siblings	迭代类型,返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings	迭代类型,返回按照HTML文本顺序的前续所有平行节点标签

实例代码:

from bs4 import BeautifulSoup
import requests
response = requests.get("http://www.icourse163.org/learn/BIT-1001870001")
html = response.text
soup = BeautifulSoup(html,"html.parser")
tag = soup.a
print(tag.contents)#打印子节点列表
for child in tag.children:#迭代所有子节点
    print(child)
for descendant in tag.descendants:#迭代所有子孙节点
    print(descendant
print(tag.parent)#打印父亲节点
for parent in tag.parents:#迭代所有父节点
    print(parent)
print(tag.next_sibling)#下一个兄弟节点