爬虫第2周——基于bs4库的HTML内容的遍历与格式化，编码

最新推荐文章于 2020-08-24 20:41:17 发布

weixin_44318102

最新推荐文章于 2020-08-24 20:41:17 发布

阅读量124

点赞数

分类专栏： Python爬虫

本文链接：https://blog.csdn.net/weixin_44318102/article/details/105181652

版权

Python爬虫专栏收录该内容

11 篇文章 2 订阅

订阅专栏

HTML内容的遍历
在这里插入图片描述
标签树的下行遍历

属性	说明
.contents	子节点的列表，将tag所有儿子节点存入列表
.children	子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
.descendants	子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

BeautifulSoup类型是标签树的根节点

from bs4 import BeautifulSoup
>>> soup = BeautifulSoup(demo,'html.parser')
>>> soup.head	#查看head标签内容
<head><title>This is a python demo page</title></head>
>>> soup.head.contents	#查看head标签的子节点
[<title>This is a python demo page</title>]
>>> soup.body.contents	#查看body标签的子节点
>>> len(soup.body.contents)	#计算body子节点的个数
>>> soup.body.contents[5]	#查看第5个子节点标签的内容


在这里插入代码片

标签树的下行遍历

for child in soup.body.children:
	print(child)	#遍历儿子节点
for child in soup.body.descendants:	
	print(child)	#遍历子孙节点

在这里插入代码片

标签书的上行遍历

属性	说明
.parent	节点的父亲节点
.parents	节点先辈标签的迭代类型，用于循环遍历先辈节点

>>> soup = BeautifulSoup(demo,'html.parser')
>>> soup.title.parent	#查看title标签的父节点
>>> soup.html.parent	#查看html标签的父节点，html为最高级标签，父节点是自己
>>> soup.parent	#soup的父节点为空
在这里插入代码片

标签书的上行遍历

# 遍历a标签的所有先辈节点，包括soup本身，所以要区别判断
>>> soup = BeautifulSoup(demo,'html.parser')
>>> for parent in soup.a.parents:
	if parent is None:
		print(parent)
	else:
		print(parent.name)
在这里插入代码片

标签树的平行遍历

属性	说明
.next_sibling	返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling	返回按照HTML文本顺序的上一个平行节点标签
.next_siblings	迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_sibilings	返回按照HTML文本顺序的前序所有平行节点标签

平行遍历发生在同一个父节点下的各节点间

>>>soup.a.next_sibling.next_sibling	#a标签的下一个节点标签的下一个节点标签
在这里插入代码片

标签树的平行遍历

for sibiling in soup.a.next_sibling:
	print(sibling)	#遍历后续节点
for sibiling in soup.a.previous_sibiling
	print(sibling)	#遍历前序节点
在这里插入代码片

HTML格式的输出
能否让HTML内容更加友好的显示？
bs4库的prettify()方法
.prettify()为HTML文本<>及其内容增加\n(换行符)
.prettify()可用于标签，方法
在这里插入图片描述

bs4库的编码
bs4库将任何HTML输入都变成utf-8，Python 3.x默认支持编码utf-8，解析无障碍