Python : 如何使用BeautifulSoup

如何使用
将一段文档传入BeautifulSoup 的构造方法,就能得到一个文档的对象, 可以传入一段字符串或一个文件句柄.

from bs4 import BeautifulSoup

soup = BeautifulSoup(open(“index.html”))

soup = BeautifulSoup(“data”)
首先,文档被转换成Unicode,并且HTML的实例都被转换成Unicode编码

BeautifulSoup(“Sacré bleu!”)

Sacré bleu! 然后,Beautiful Soup选择最合适的解析器来解析这段文档,如果手动指定解析器那么Beautiful Soup会选择指定的解析器来解析文档.(参考 解析成XML ).

对象的种类
Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment .

Tag
Tag 对象与XML或HTML原生文档中的tag相同:

soup = BeautifulSoup(‘Extremely bold’)
tag = soup.b
type(tag)

<class ‘bs4.element.Tag’>

Tag有很多方法和属性,在 遍历文档树 和 搜索文档树 中有详细解释.现在介绍一下tag中最重要的属性: name和attributes

Name
每个tag都有自己的名字,通过 .name 来获取:

tag.name

u’b’

如果改变了tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档:

tag.name = “blockquote”
tag

Extremely bold

Attributes
一个tag可能有很多个属性. tag 有一个 “class” 的属性,值为 “boldest” . tag的属性的操作方法与字典相同:

tag[‘class’]

u’boldest’

也可以直接”点”取属性, 比如: .attrs :

tag.attrs

{u’class’: u’boldest’}

tag的属性可以被添加,删除或修改. 再说一次, tag的属性操作方法与字典一样

tag[‘class’] = ‘verybold’
tag[‘id’] = 1
tag

Extremely bold

del tag[‘class’]
del tag[‘id’]
tag

Extremely bold

tag[‘class’]

KeyError: ‘class’

print(tag.get(‘class’))

None

多值属性

HTML 4定义了一系列可以包含多个值的属性.在HTML5中移除了一些,却增加更多.最常见的多值的属性是 class (一个tag可以有多个CSS的class). 还有一些属性 rel , rev , accept-charset , headers , accesskey . 在Beautiful Soup中多值属性的返回类型是list:

css_soup = BeautifulSoup(’

’)
css_soup.p[‘class’]

[“body”, “strikeout”]

css_soup = BeautifulSoup(’

’)
css_soup.p[‘class’]

[“body”]

如果某个属性看起来好像有多个值,但在任何版本的HTML定义中都没有被定义为多值属性,那么Beautiful Soup会将这个属性作为字符串返回

id_soup = BeautifulSoup(’

’)
id_soup.p[‘id’]

‘my id’

将tag转换成字符串时,多值属性会合并为一个值

rel_soup = BeautifulSoup(‘

Back to the homepage

’)
rel_soup.a[‘rel’]

[‘index’]

rel_soup.a[‘rel’] = [‘index’, ‘contents’]
print(rel_soup.p)

Back to the homepage

如果转换的文档是XML格式,那么tag中不包含多值属性

xml_soup = BeautifulSoup(’

’, ‘xml’)
xml_soup.p[‘class’]

u’body strikeout’

可以遍历的字符串
字符串常被包含在tag内.Beautiful Soup用 NavigableString 类来包装tag中的字符串:

tag.string

u’Extremely bold’

type(tag.string)

<class ‘bs4.element.NavigableString’>

一个 NavigableString 字符串与Python中的Unicode字符串相同,并且还支持包含在 遍历文档树 和 搜索文档树 中的一些特性. 通过 unicode() 方法可以直接将 NavigableString 对象转换成Unicode字符串:

unicode_string = unicode(tag.string)
unicode_string

u’Extremely bold’

type(unicode_string)

<type ‘unicode’>

tag中包含的字符串不能编辑,但是可以被替换成其它的字符串,用 replace_with() 方法:

tag.string.replace_with(“No longer bold”)
tag

No longer bold

NavigableString 对象支持 遍历文档树 和 搜索文档树 中定义的大部分属性, 并非全部.尤其是,一个字符串不能包含其它内容(tag能够包含字符串或是其它tag),字符串不支持 .contents 或 .string 属性或 find() 方法.

如果想在Beautiful Soup之外使用 NavigableString 对象,需要调用 unicode() 方法,将该对象转换成普通的Unicode字符串,否则就算Beautiful Soup已方法已经执行结束,该对象的输出也会带有对象的引用地址.这样会浪费内存.

BeautifulSoup
BeautifulSoup 对象表示的是一个文档的全部内容.大部分时候,可以把它当作 Tag 对象,它支持 遍历文档树 和 搜索文档树 中描述的大部分的方法.

因为 BeautifulSoup 对象并不是真正的HTML或XML的tag,所以它没有name和attribute属性.但有时查看它的 .name 属性是很方便的,所以 BeautifulSoup 对象包含了一个值为 “[document]” 的特殊属性 .name

soup.name

u’[document]’

注释及特殊字符串
Tag , NavigableString , BeautifulSoup 几乎覆盖了html和xml中的所有内容,但是还有一些特殊对象.容易让人担心的内容是文档的注释部分:

markup = “ ”
soup = BeautifulSoup(markup)
comment = soup.b.string
type(comment)

<class ‘bs4.element.Comment’>

Comment 对象是一个特殊类型的 NavigableString 对象:

comment

u’Hey, buddy. Want to buy a used parser’

但是当它出现在HTML文档中时, Comment 对象会使用特殊的格式输出:

print(soup.b.prettify())

Beautiful Soup中定义的其它类型都可能会出现在XML的文档中: CData , ProcessingInstruction , Declaration , Doctype .与 Comment 对象类似,这些类都是 NavigableString 的子类,只是添加了一些额外的方法的字符串独享.下面是用CDATA来替代注释的例子:

from bs4 import CData
cdata = CData(“A CDATA block”)
comment.replace_with(cdata)

print(soup.b.prettify())