Beautifulsoup常见用法

序号	解析库	使用方法	优势	劣势
1	Python标准库	BeautifulSoup(html,’html.parser’)	Python内置标准库；执行速度快	容错能力较差
2	lxml HTML解析库	BeautifulSoup(html,’lxml’)	速度快；容错能力强	需要安装，需要C语言库
3	lxml XML解析库	BeautifulSoup(html,[‘lxml’,’xml’])	速度快；容错能力强；支持XML格式	需要C语言库
4	htm5lib解析库	BeautifulSoup(html,’htm5llib’)	以浏览器方式解析，最好的容错性	速度慢

创建对象

import requests as re
from bs4 import BeautifulSoup as bs

web=re.get("http://www.xbiquge.la/13/13959/")
web.encoding="utf8"
soup=bs(web.text,"lxml")

搜索文档树

常使用两种方法find()和find_all()，过滤器包括：纯字符串、正则表达式、列表、True、方法这几种。

find_all(name,attrs,recursive,text,limit,keywords)

该方法搜索当前节点的所有tag子节点。

name参数：
指的是tag的name属性，字符串对象自动忽略。
过滤器可以使用全部种类。

keywords参数：
如果一个入参指定了名字，但是并不是上述提到的入参名字，搜索时会把该入参当做是tag的属性来搜索。例如：

soup.find_all(id='link2')

会返回tag中存在属性id，并且id对应的值是link2的tag。
以上方法可使用除方法之外的所有过滤器。

某些特殊属性不能这样直接使用，则使用如下方法：

soup.find_all(attrs={"key":"value"})

例如要使用class属性进行搜索，由于class是python中的保留字，不能直接写成入参，目前有两种方法：

soup.find_all('tag.name',class_='class_value')
soup.find_all('tag.name',attrs={'class':'class_value'})

class_方法可以使用全部过滤器。
另外，因为class是一个多值属性，所以只需要匹配一个值，就可以得到结果，所谓的不完全匹配。
使用完全匹配时，过滤器中的字符顺序需要和实际相符合才能得到对应结果。

find(name,attrs,recursive,text,keywords)

find()方法等价于find_all(limit=1)，返回符合条件的第一个对象。
区别在于，前者直接返回结果，后者返回只有一个元素的列表。若没有对象符合条件，前者返回None，后者返回空列表。

它也有简化版：

soup.find('head').find('title')
soup.head.title

CSS选择器

可以采用CSS的语法格式来筛选元素：

#标签选择器
print soup.select('a')
#类名选择器
print soup.select('.css')
#id选择器
print soup.select('#css')
#属性选择器
print soup.select('img[width="160"]')