python soup attrs_python爬虫（7）--Beautiful Soup的用法

1.Beautiful Soup简介

简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

2.Beautiful Soup安装

可以利用 pip 或者 easy_install 来安装(进入python安装目录，进入Scripts文件夹，运行cmd)

easy_install beautifulsoup4

pip install beautifulsoup4

然后需要安装 lxml

easy_install lxml

pip install lxml

另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:

easy_install html5lib

pip install html5lib

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐安装。

3.创建 Beautiful Soup 对象

首先必须要导入 bs4 库，创建 beautifulsoup 对象，还可以用本地 HTML 文件来创建对象，下面我们来打印一下 soup 对象的内容，格式化输出

from bs4 importBeautifulSoup

soup= BeautifulSoup(open('test.html'), "html5lib")print soup.prettify()

4. 四大对象种类

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:

Tag

NavigableString

BeautifulSoup

Comment

(1)Tag

Tag 是什么？通俗点讲就是 HTML 中的一个个标签。HTML 标签加上里面包括的内容就是 Tag，下面来感受一下怎样用 Beautiful Soup 来方便地获取 Tags。

#-*- coding: utf-8 -*-

from bs4 importBeautifulSoup

encoding= "utf-8"soup= BeautifulSoup(open('test.html'), "html5lib", from_encoding=encoding)printsoup.prettify()print soup.a.encode('gbk')print soup.title.encode('gbk')

可以利用 soup加标签名轻松地获取这些标签的内容，它查找的是在所有内容中的第一个符合要求的标签&