Python爬虫之BeautifulSoup库

最新推荐文章于 2024-03-29 00:20:16 发布

拂去烟尘

最新推荐文章于 2024-03-29 00:20:16 发布

阅读量311

点赞数

分类专栏： python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/miaoqiucheng/article/details/80294088

版权

5 篇文章 0 订阅

订阅专栏

安装

pip install beautifulsoup4    (linux可能需要使用pip3 install beautifulsoup4)

解析核心代码：

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>data</p>', 'html.parser')

Beautiful Soup库是解析、遍历、维护“标签树”的功能库。

Beautiful Soup库，也叫beautifulsoup4 或 bs4，约定引用方式如下，即主要是用BeautifulSoup类

from bs4 import BeautifulSoup
or
import beautifulsoup4

Beautiful Soup库解析器

soup = BeautifulSoup('<html>data</html>'，'html.parser')

解析器	使用方法	条件
bs4的HTML解析器	BeautifulSoup(mk,’html.parser’)	安装bs4库
lxml的HTML解析器	BeautifulSoup(mk,’lxml’)	pip install lxml
lxml的XML解析器	BeautifulSoup(mk,’xml’)	pip install lxml
html5lib的解析器	BeautifulSoup(mk,’html5lib’)	pip install html5lib

BeautifulSoup类的基本元素

<p class=“title”>… </p>

基本元素	说明
Tag	标签，最基本的信息组织单元，分别用<>和标明开头和结尾
Name	标签的名字，…的名字是’p’，格式：.name
Attributes	标签的属性，字典形式组织，格式：.attrs
NavigableString	标签内非属性字符串，<>…中字符串，格式：.string
Comment	标签内字符串的注释部分，一种特殊的Comment类型

Tag标签: 任何存在于HTML语法中的标签都可以用soup.<tag>访问获得当HTML文档中存在多个相同<tag>对应内容时，soup.<tag>返回第一个.
Tag的name（名字）: 每个<tag>都有自己的名字，通过<tag>.name获取，字符串类型
Tag的attrs（属性）: 一个<tag>可以有 0或多个属性，字典类型，通<tag>.attrs获取
Tag的NavigableString: NavigableString可以跨越多个层次，通过<tag>.string获取,
Comment: 是一种特殊类型

基本元素应用

属性	说明
.contents	子节点的列表，将所有儿子节点存入列表
.children	子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
.descendants	子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

BeautifulSoup类型是标签树的根节点

标签树的下行遍历

for child in soup.body.children:
    print(child)   #遍历儿子节点

for child in soup.body.descendants:
    print(child)   #遍历子孙节点

属性	说明
.parent	节点的父亲标签
.parents	节点先辈标签的迭代类型，用于循环遍历先辈节点

属性	说明
.next_sibling	返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling	返回按照HTML文本顺序的上一个平行节点标签
.next_siblings	迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings	迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

平行遍历

表签树的平行遍历

for sibling in soup.a.next_sibling:
    print(sibling)   #遍历后续节点

for sibling in soup.a.previous_sibling:
    print(sibling)  #遍历前续节点

三种遍历方法比较

bs4库的prettify()方法

属性	说明
.prettify()	为HTML文本<>及其内容增加更加’\n’

prettify()方法示例：
格式输出1

.prettify()可用于标签，方法：<tag>.prettify()

.prettify()方法示例：
prettify输出格式

这里写图片描述

关注

专栏目录