beautiful soup 4.0（bs4）遍历文档树（2）

1、概述

在使用爬虫程序对爬取的文档进行处理时，经常要做的一个操作就是遍历文档树。文档以树形结构进行组织，所以遍历文档的操作又叫遍历文档树。beautiful soup本身提供了很多遍历文档树的方法，本文主要讨论遍历文档树的方法。

2、遍历文档树

2.1 准备工作

本文将使用公众号的文章作为遍历的对象，所以首先需要先把整个文档抓取下来，并将多余的元素去除掉，只保留文档的主体部分以保证文档分析的准确性，请参照如下代码：

from bs4 import BeautifulSoup
import requests
bk_url = 'https://mp.weixin.qq.com/s?src=11&timestamp=1536542507&ver=1113&signature=bx7vKGc*P*VXdS7ymgZqblP666yq31soLbvKx1ehonqJAojCMT9aUq5y8Sv8CKTWd4C87pCCSw*kts5k4KaNUmdXuZkEMoVP59DPzKxQZhZlE6UCV3f3iw5qe5XvnJxs&new=1'
headers = {"User-Agent" : "User-Agent:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}
r = requests.get(bk_url,headers=headers)
r.encoding = 'utf-8'
soup =  BeautifulSoup(r.text,'html.parser')

2.2 获取子节点

在遍历文档树时一个经常性的操作就是获取子节点ÿ