爬虫入门（二）

1.Beautiful Soup

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库，通过 BeautifulSoup，只需要用很少的代码就可以提取出 HTML 中任何感兴趣的内容，此外，它还有一定的 HTML 容错能力，对于一个格式不完整的HTML 文档，它也可以正确处理。

推荐：Beautiful Soup 官方文档

此外，嵩天老师慕课 Python网络爬虫与信息提取 P22-31小节关于 Beautiful Soup 的讲解不错~

实战环节：使用beautifulsoup提取丁香园论坛的回复内容

目标网址：http://www.dxy.cn/bbs/thread/626626#626626

import requests
from bs4 import BeautifulSoup

def web_content(content):
    soup = BeautifulSoup(content, "lxml")
    for item in soup.find_all("tbody"):
        try:
            name = item.find("div", class_ = "auth").get_text(strip=True)
            content = item.find('td', class_ = "postbody").get_text(strip=True)
            print(name + ":" +content)
        except:
            pass

def main():
    url = "http://www.dxy.cn/bbs/thread/626626#626626"
    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"}
    response = requests.get(url, headers = headers).text
    web_content(response)

if __name__ == "__main__":
    main()

结果如下：

解释：

soup = BeautifulSoup(content, "lxml")
首先传入一个 html 文档，soup 是获得文档的对象。然后,文档被转换成 Unicode ,并且 HTML 的实例都被转换成 Unicode 编码。然后,Beautiful Soup 选择最合适的解析器来解析这段文档,如果手动指定解析器那么 Beautiful Soup 会选择指定的解析器来解析文档。但是一般最好手动指定解析器，并且使用 requests 与 BeautifulSoup 结合使用。

• 要解析的文档是什么类型: 目前支持, html, xml, 和 html5
• 指定使用哪种解析器: 目前支持, lxml, html5lib, 和 html.parser

for item in soup.find_all("tbody")

name = item.find("div",class = "auth").get_text(strip=True)

可以去除获得文本内容的前后空白

if __name__ == "__main__"
当.py文件被直接运行时，if name == 'main’之下的代码块将被运行；当.py文件以模块形式被导入时，if name == 'main’之下的代码块不被运行。

2.Xpath

XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。

实战环节：使用beautifulsoup提取丁香园论坛的回复内容

目标网址：http://www.dxy.cn/bbs/thread/626626#626626

import requests
from lxml import etree

def web_content(content):
    tree = etree.HTML(content)
    name = tree.xpath('//*[@class="postbox"]//tbody//*[@class="auth"]/a/text()')
    content = tree.xpath('//*[@class="postbox"]//tbody//*[@class="postbody"]')
    for i,j in zip(name, content):
        j = j.text.replace('\r','').replace('\n','').replace('\t','').replace(' ','')
        print('{}:{}'.format(i,j))   

def main():
    url = "http://www.dxy.cn/bbs/thread/626626#626626"
    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"}
    response = requests.get(url, headers = headers).text
    web_content(response)

if __name__ == "__main__":
    main()

结果如图：

参考资料：
1.python爬虫初步之BeautifulSoup实战
2.学习xpath，使用lxml+xpath提取内容
3.HTML文本解析库BeautifulSoup
4.BeautifulSoup 模块使用指南
5.if name == ‘main’”语句
6.如何简单地理解Python中的if name == ‘main’