2.复杂HTML解析

1.另辟蹊径
面对复杂HTML，无需想当然地写代码提取信息。网络的结构并不是永远不变的。提取信息之前，需要分析几点：

• 寻找“打印此页”的链接，或者看看网站有没有 HTML 样式更友好的移动版。
• 寻找隐藏在 JavaScript 文件里的信息。
• 网页标题信息也许可以从网页的 URL 链接里获取。
• 若要找的信息不只限于某个特定网站，那么你可以找找其他数据源。

2.再说BeautifulSoup
这一节将介绍通过属性查找标签的方法，标签组的使用，以及标签解析树的导航过程。
CSS （层叠样式表）可以让 HTML 元素呈现出差异化，使那些具有完全相同修饰的元素呈现出不同的样式。
网络爬虫可以通过 class 属性的值，轻松地区分出两种不同的标签。

# -*- coding: GBK -*-
from urllib.request import urlopen
from bs4 import BeautifulSoup

html = urlopen('http://www.pythonscraping.com/pages/warandpeace.html')
bs = BeautifulSoup(html.read(), 'html.parser')

nameList = bs.find_all('span', {
   'class':'green'})	#寻找所有属性class值为‘green’的span标签，组成一个python列表
for name in nameList:
	print(name.get_text())

bs.find_all(tagName, tagAttributes) 可以获取页面中所有指定的标签，组成一个Python列表
.get_text() 会清除你正在处理的 HTML 文档中的所有标签，然后返回一个只包含文字的 Unicod