深入理解BeautifulSoup

我生也有涯，而知也无涯，以有涯随无涯，殆矣!——庄子

如同Python的所有库一样，BeautifulSoup易于上手，想要如臂使指却要下一番功夫。我们不妨通过一个例子来细细品味几个有趣的细节，来看看我们是否真的了解了BeautifulSoup。

• 初识——BeautifulSoup是通过将网页数据解析成搜索树来加速元素查找的python 库
• BeautifulSoup总结下来两种搜索文档树的方法最重要：find_all(name,attrs,string)和select(selector)
• 例子地址——URL:https://www.itcodemonkey.com/article/14987.html
• 这个例子，我们随后会发现比百度文档简单很多

import requests
from bs4 import BeautifulSoup as Soup

resp = requests.get('https://www.itcodemonkey.com/article/14987.html')

soup = Soup(resp.text,'lxml')

soup.title

<title>​一个超有意思的 Python 综合能力测试网站 - IT程序猿 </title>

soup.title.name #访问标签名而不是标签的name属性，即使有name属性，也需要通过get()提取

'title'

soup.title.attrs #title标签没有任何属性

{}

soup.title.text

'\u200b一个超有意思的 Python 综合能力测试网站 - IT程序猿 '

soup.title.text[1:]

'一个超有意思的 Python 综合能力测试网站 - IT程序猿 '

tags_search_by_attrs = soup.find_all(attrs={
   'class':'kq__article-power'})

tags_search_by_attrs

[<div class="kq__article-power">
 <p>来自：<a href="https://mp.weixin.qq.com/s/x5n2YeK5J56h-VAzb1Cejw" target="_blank">高级农民工</a>（微信号：Mocun6），作者：苏克1900</p> </div>]

find 与 find_all 方法也支持筛选条件为正则表达式的情况

import re

tags_search_by_string = soup.find_all(string=re.compile('power'))

tags_search_by_string

[]

tags_search_by_string = soup.find_all(string=re.compile('作者：苏克1900'))

tags_search_by_string

['（微信号：Mocun6），作者：苏克1900']

BeautifulSoup有NavigableString对象,找到的就是文本内容对象而不是包含此