跟着《Python网络数据采集》学爬虫2

第二章 复杂的HTML解析

---

2.1 不是一直都要用锤子

写代码不要想哪写哪，先考虑清楚后续网页如果改动，自己的代码该怎么写

2.2 再来一碗BeautifulSoup

本节介绍通过属性查找标签的方法，标签组的使用，以及标签解析树的导航过程

基本所以网站都会用层叠样式表，即经常见到CSS，它让HTML元素呈现出差异化，方便了我们进行爬虫。比如有些标签像

<span class="green"></span>
或者
<span class="red"></span>

爬虫就可以通过class属性的值来区分不同标签。
下面抓取书中的示例页：
http://www.pythonscraping.com/pages/warandpeace.html

在这个页面中，小说人物的对话内容都是红色的，人物名称都是绿色的。
你可以看到网页源代码里的span标签，引用了对应的css属性。

"<span class="red">Can one be well while suffering morally? Can one be calm in times
like these if one has any feeling?</span>" said <span class="green">Anna Pavlovna</span>. "<span class="red">You are
staying the whole evening, I hope?</span>"

我们可以抓取整个页面，然后创建一个bs对象，和第一章里的程序类似：

from urllib.request import urlopen
from bs4 import BeautifulSoup

html = urlopen('http://www.pythonscraping.com/pages/warandpeace.html')
bsObj = BeautifulSoup(html)

通过bs对象，我们可以用findAll函数来抽取绿标签，这样就得到一个人物名称列表：

nameList = bsObj.find_all('span',{
  'class':'green'})
for name in nameList:
    print(name.get_text())

bsObj.findAll(标签名，标签属性）可以获取页面中所有的指定标签

.get_text()会把你正在处理的HTML文档中的标签都清楚，然后返回一个只包含文字的字符串。
假如你在处理一个有超链接、段落和标签的大段源代码，那么它会只留下不带标签的文字。
所以一般情况下，.get_text()是最后使用的。

2.2.1 BS的find()和find_all()

BS说明文档 https://beautifulsoup.readthedocs.io/zh_CN/latest/
find_all( name , attrs , recursive , string , **kwargs )
find( name , attrs , recursive , string , **kwargs )
name是标签参数

attrs是属性参数，是一个用字典封装的若干属性和对应的属性值

recursive是递归参数，它是一个布尔变量，即True和False，表示递归深
度。当为True时，find_all()会遍历所有标签。当为False时，只查找一级标签

string可以指定查找的具体字符串

find()等价于find_all()的