python爬虫bs4库_04 Python爬虫之Beautiful Soup库

Beautiful Soup库的安装

Win平台: 以管理员身份运行

cmd 执行 pip install beautifulsoup4

Beautiful Soup库的安装小测

首先，获取网页源码保存至变量中

import requests

r = requests.get("https://python123.io/ws/demo.html")

demo = r.text

其次，引入Beautiful Soup库。from bs4 import BeautifulSoup

使用Beautiful Soup库的html解析器对网页源码进行解析。得到结果

通过prettify()方法进行显示

from bs4 import BeautifulSoup

soup = BeautifulSoup(demo, "html.parser")# 使用html解析器进行解析

print(soup.prettify())# 打印解析后的结果

Beautiful Soup库使用格式

from bs4 import BeautifulSoup

soup = BeautifulSoup('

data','html.parser')

Beautiful Soup库的基本元素

Beautiful Soup库的理解

Beautiful Soup库是解析、遍历、维护“标签树”的功能库

Beautiful Soup库的引用

Beautiful Soup库，也叫beautifulsoup4 或bs4 约定引用方式如下，即主要是用BeautifulSoup类

from bs4 import BeautifulSoup importbs4

BeautifulSoup类

BeautifulSoup对应一个HTML/XML文档的全部内容

Beautiful Soup库解析器

soup=BeautifulSoup('data'，'html.parser')

解析器

使用方法

条件

bs4的HTML解析器

BeautifulSoup(mk,'html.parser')

安装bs4库

lxml的HTML解析

BeautifulSoup(mk,'lxml')

pip install lxml

lxml的XML解析

BeautifulSoup(mk,'xml')

pip install lxml

html5lib的解析

BeautifulSoup(mk,'html5lib')

pip install html5lib

BeautifulSoup类的基本元素

基本元素

说明

Tag

标签，最基本的信息组织单元，分别用<>和>标明开头和结尾

Name

标签的名字，

…的名字是'p'，格式：.name

Attributes

标签的属性，字典形式组织，格式：.attrs

NavigableString

标签内非属性字符串，<>…>中字符串，格式：.string

Comment

标签内字符串的注释部分，一种特殊的Comment类型

Tag标签

任何存在于HTML语法中的标签都可以用soup.访问获得 当HTML文档中存在多个相同对应内容时，soup.返回第一个

Tag的name(名字)

每个都有自己的名字，通过.name获取，字符串类型

Tag的attrs(属性)

一个可以有0或多个属性，字典类型

Tag的NavigableString

NavigableString可以跨越多个层次

Tag的Comment

Comment是一种特殊类型

基于bs4库的HTML内容遍历方法

HTML基本格式

标签树的下行遍历

BeautifulSoup类型是标签树的根节点

属性

说明

.contents

子节点的列表，将所有儿子节点存入列表

.children

子节点的迭代类型，与.contents类似，用于循环遍历儿子节点

.descendants

子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

for child in soup.body.children: # 遍历儿子节点

print(child)

for child in soup.body.descendants: # 遍历子孙节点

print(child)

标签树的上行遍历

属性

说明

.parent

节点的父亲标签

.parents

节点先辈标签的迭代类型，用于循环遍历先辈节点

标签树的平行遍历

属性

说明

.next_sibling

返回按照HTML文本顺序的下一个平行节点标签

.previous_sibling

返回按照HTML文本顺序的上一个平行节点标签

.next_siblings

迭代类型，返回按照HTML文本顺序的后续所有平行节点标签

.previous_siblings

迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

for sibling in soup.a.next_sibling:# 遍历后续节点

print(sibling)

for sibling in soup.a.previous_sibling: # 遍历前续节点

print(sibling)

基于bs4库的HTML格式输出

能否让HTML内容更加“友好”的显示？

bs4库的prettify()方法

.prettify()为HTML文本<>及其内容增加更加'\n'

.prettify()可用于标签，方法：.prettify()

bs4库的编码

bs4库将任何HTML输入都变成utf‐8编码 Python 3.x默认支持编码是utf‐8,解析无障碍