使用BeautifulSoup解析HTML

1.  通过css属性来获取对应的标签，如下面两个标签

        

<span class="green"></span>
<span class="red"></span>

可以通过class属性抓取网页上所有的红色文字，具体代码如下：

from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/pages/warandpeace.html")
bsObj = BeautifulSoup(html)
nameList = bsObj.findAll("span", {"class": "green"})
for name in nameList:
    print(name.get_text()

2. get_text()方法解析

    .get_text() 会把你正在处理的 HTML 文档中所有的标签都清除，然后返回 一个只包含文字的字符串。假如你正在处理一个包含许多超链接、段落和标 签的大段源代码，那么 .get_text() 会把这些超链接、段落和标签都清除掉， 只剩下一串不带标签的文字。

3. find()和findAll() 

findAll(tag, attributes, recursive, text, limit, keywords)
find(tag, attributes, recursive, text, keywords)