1.Beautiful Soup简介
简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。
Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。然后,你仅仅需要说明一下原始编码方式就可以了。
Beautiful Soup已成为和lxml、html6lib一样出色的python解释器,为用户灵活地提供不同的解析策略或强劲的速度。
2.Beautiful Soup安装
可以利用 pip 或者 easy_install 来安装(进入python安装目录,进入Scripts文件夹,运行cmd)
easy_install beautifulsoup4
pip install beautifulsoup4
然后需要安装 lxml
easy_install lxml
pip install lxml
另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:
easy_install html5lib
pip install html5lib
Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器,lxml 解析器更加强大,速度更快,推荐安装。
3.创建 Beautiful Soup 对象
首先必须要导入 bs4 库,创建 beautifulsoup 对象,还可以用本地 HTML 文件来创建对象,下面我们来打印一下 soup 对象的内容,格式化输出
from bs4 importBeautifulSoup
soup= BeautifulSoup(open('test.html'), "html5lib")print soup.prettify()
4. 四大对象种类
Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:
Tag
NavigableString
BeautifulSoup
Comment
(1)Tag
Tag 是什么?通俗点讲就是 HTML 中的一个个标签。HTML 标签加上里面包括的内容就是 Tag,下面来感受一下怎样用 Beautiful Soup 来方便地获取 Tags。
#-*- coding: utf-8 -*-
from bs4 importBeautifulSoup
encoding= "utf-8"soup= BeautifulSoup(open('test.html'), "html5lib", from_encoding=encoding)printsoup.prettify()print soup.a.encode('gbk')print soup.title.encode('gbk')
可以利用 soup加标签名轻松地获取这些标签的内容,它查找的是在所有内容中的第一个符合要求的标签&