'''
解析器:
Python 内置标准库 优势:执行速度适中,文档容错能力强
BeautifulSoup(html,'html.parser') 3.7 or 3.2 容错能力较差
lxml HTML 速度快,文档容错能力强 (最常用)
BeautifulSoup(html,'lxml')
lxml XML 速度快 ,唯一支持xml解析
BeautifulSoup(html,'xml')
html5lib 最好的容错性,速度慢,不依赖外部扩展
BeautifulSoup(html,'html5lib')
'''
import requests
from bs4 import BeautifulSoup
response = requests.get('https://book.douban.com/')
soup = BeautifulSoup(response.text, 'lxml')
# 格式化(自动补全没有闭合标签)
pret = soup.prettify()
# print(pret)
# 获取标签内容
print(soup.title.string.strip()) # soup.title.string 获取title标签的字符串
# 获取标签
print(soup.p) # (多个p标签)输出第一个p标签
# 获取标签名称
print(soup.title.name)
# 获取属性2种方法
print(soup.p.attrs['name'])
print(soup.p['name'])
# 嵌套元素选择
print(soup.head.title.string) # 获取head > title 的内容
# 获取子节点标签 2中方法
print(soup.p.contents) # 返回list类型['<a>aaa</a>',....] 每个标签是一个元素
print(soup.p.children) # 返回list_itrator 类型
# 获取子节点和孙节点
print(soup.p.descendants) # 返回迭代器
# 获取父节点
print(soup.p.parent)
# 获取祖先节点
print(soup.p.parents)
# 获取兄弟节点
print(soup.p.next_siblings) # 下一个
print(soup.p.previous_siblings) # 上一个
# 标准选择器
# find_all(name,attr,recursive,text,**kwargs)
# name (标签名称)
print(soup.find_all('ul')) # 所有的
print(soup.find_all('ul')[0]) # 取第一个
for ul in soup.find_all('ul'):
print(ul.find_all('li')[0]) # 返回tag类型
# attrs {'id': 'id1'} {'name': 'aaa'}
print(soup.find_all(attrs={'name': 'elem'})[0].string) # 获取标签内容
# CSS 选择器 (select)
print(soup.select('.ccc .box')[0].string) # 就是这么爽
# 获取属性
print(soup.select('.ccc .box')[0]['id'])
print(soup.select('.ccc .box')[0].attrs['id'])
# 获取内容
print(soup.select('.ccc .box')[0].get_text())
'''
总结:
推荐使用lxml解析库,必要时使用html.parser
标签选择功能弱但是速度快
建议使用find(),find_all() 查询单个,或者多个
如果css选择器熟悉就用select()
记住常用的属性和文本值获取方法
'''