python BeautifulSoup模块

网页解析库BeautifulSoup

安装 pip install beautifulsoup4

解析器 类型

Python标准库 html.parser 容错能力强、执行速度适中

Lxml html 解析器 lxml 容错能力强、执行速度快 需要安装c语言库 pip install lxml

Lxml xml 解析器 xml 唯一支持xml的解析器、速度快  需要安装c语言库

Html5lib html5lib    浏览器方式解析文档，生成html格式文档

使用

实例化

soup = BeautifulSoup(‘html代码‘,'解析器 lxml') 

方法

.title.parent.name 获取 title 的父级标签

.Find_all() 获取所有

.Select() 搜索 可以通过selector获取

 

.Find(id=’2’) 查找指定内容例如 id=’2’

.get_text()   获取网页中所有的内容

.标签名称.类型   通过标签获取指定标签的内容 例如 .p.string

.attrs 获取所有属性

.get() 获取指定属性 soup.get(‘href’)

更多使用方法

Beautiful Soup Documentation — Beautiful Soup 4.9.0 documentation