python学习之----BeautifulSoup示例二

网络爬虫可以通过class 属性的值，轻松地区分出两种不同的标签。例如，它们可以用

BeautifulSoup 抓取网页上所有的红色文字，而绿色文字一个都不抓。因为CSS 通过属性准

确地呈现网站的样式，所以你大可放心，大多数新式网站上的class 和id 属性资源都非常

丰富。

下面让我们创建一个网络爬虫来抓取http://www.pythonscraping.com/pages/warandpeace.html

这个网页。

在这个页面里，小说人物的对话内容都是红色的，人物名称都是绿色的。你可以看到网页

源代码里的span 标签，引用了对应的CSS 属性，如下所示：

"<span class="red">Heavens! what a virulent attack!</span>" replied <span class=

"green">the prince</span>, not in the least disconcerted by this reception.

我们可以抓出整个页面，然后创建一个BeautifulSoup 对象

from urllib.request import urlopen

from bs4 import BeautifulSoup

html = urlopen("http://www.pythonscraping.com/pages/warandpeace.html")

bsObj = BeautifulSoup(html)

 

通过BeautifulSoup 对象，我们可以用findAll 函数抽取只包含在<span class="green"></

span> 标签里的文字，这样就会得到一个人物名称的Python 列表（findAll 是一个非常灵

活的函数，我们后面会经常用到它）：

nameList = bsObj.findAll("span", {"class":"green"})

for name in nameList:

print(name.get_text())

 

代码执行以后就会按照《战争与和平》中的人物出场顺序显示所有的人名。这是怎么实现

的呢？之前，我们调用bsObj.tagName 只能获取页面中的第一个指定的标签。现在，我们

调用bsObj.findAll(tagName, tagAttributes) 可以获取页面中所有指定的标签，不再只是

第一个了。

获取人名列表之后，程序遍历列表中所有的名字，然后打印name.get_text()，就可以把标

签中的内容分开显示了。

什么时候使用get_text() 与什么时候应该保留标签？

.get_text() 会把你正在处理的HTML 文档中所有的标签都清除，然后返回

一个只包含文字的字符串。假如你正在处理一个包含许多超链接、段落和标

签的大段源代码，那么.get_text() 会把这些超链接、段落和标签都清除掉，

只剩下一串不带标签的文字。

用BeautifulSoup 对象查找你想要的信息，比直接在HTML 文本里查找信

息要简单得多。通常在你准备打印、存储和操作数据时，应该最后才使

用.get_text()。一般情况下，你应该尽可能地保留HTML 文档的标签结构。

2.2.1　

转载于:https://www.cnblogs.com/yintingting/p/6575090.html