一、bs4模块基本使用
from bs4 import BeautifulSoup
html='''
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
'''
#创建一个bs对象
soup=BeautifulSoup(html,'lxml')
#prettify():实现格式化输出
# print(soup.prettify())
#(1)标签选择器
#通过soup.标签名 就可以获得这个标签的内容
# print(soup.title)
#获取p标签
# print(soup.p)
#获取第一个p标签的文本内容
# print(soup.p.string)
#嵌套选择
#获取head标签下的title标签的文本内容
# print(soup.head.title.string)
#节点选择
#p标签的子节点
#contents返回的是列表
# print(soup.p.contents)
#chilren 返回的是迭代对象
# le=soup.p.children
# for i in le:
# print(i)
#父节点
# print(soup.a.parent)
#获取所有超链接
for link in soup.find_all('a'):
print(link.get('href'))
#获取标签文本内容
print(soup.get_text())
二、标准选择器
#find_all(name,attrs,text)
#可以根据标签名,属性,文本内容查找文档
#find():返回匹配结果的一个元素
html='''
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
'''
from bs4 import BeautifulSoup
soup= BeautifulSoup(html,'lxml')
#(1)name 的用法
# print(soup.find_all('ul'))
#结果返回的一个列表的方式
# print(soup.find_all('ul')[0])
#查找所有ul标签下的li标签
# for ul in soup.find_all('ul'):
# print(ul.find_all('li'))
#(2) attrs的用法
# print(soup.find_all(attrs={'id':'list-1'}))
#找class属性值是panel-heading的对应标签
# print(soup.find_all(attrs={'class':'panel-heading'}))
#(3)text
print(soup.find_all(text='Foo'))
三、css选择器
#select()
# 1. .表示class ,#表示id
# 2.其他属性 比如:[name=Tom]
# 3.标签1,标签2 找到所有的标签1和标签2
# 4.标签1 标签2 找到标签1内部的标签2
html='''
<div class="panel">
<div class="panel-heading">
<h4>Hello</h4>
</div>
<div class="panel-body">
<ul class="list" id="list-1">
<li class="element">Foo</li>
<li class="element">Bar</li>
<li class="element">Jay</li>
</ul>
<ul class="list list-small" id="list-2">
<li class="element">Foo</li>
<li class="element">Bar</li>
</ul>
</div>
</div>
'''
from bs4 import BeautifulSoup
soup=BeautifulSoup(html,'html.parser')
#获取属性class值是panel的标签下的class属性值是panel-body的标签
# print(soup.select('.panel .panel-body'))
#获取ul标签下的所有li标签
# print(soup.select('ul li'))
#获取id属性为list-2的标签内部的class属性值是element的标签
# print(soup.select('#list-2 .element'))
#获取文本内容
#get_text()可以获取文本内容
for li in soup.select('li'):
print(li.get_text())