环境
IDE:Spyder
BeautifulSoup简单测试
import requests
from bs4 import BeautifulSoup
import re
r = requests.get("http://www.baidu.com")
r.encoding = "utf-8"
soup = BeautifulSoup(r.text,features="lxml")
#使用BeautifulSoup将网页内容解析页面内容
print(type(soup))
#查看soup类型
a = soup.find_all('a')
len(a)
#百度界面<a>标签的个数
soup.find_all('a')
#筛选以<a>标签开头的内容
soup.find_all('a',{'class':'lb'})
#筛选<a>标签中class="lb"的内容
soup.find_all('a',{'class':re.compile('lb')})
#使用re筛选<a>标签中class="lb"的内容
soup.find_all(string=re.compile('百度'))
#使用re筛选以“百度”为关键词的内容
做题
soup.find_all('head')
#打印head标签内容
soup.find_all('p')
#获取p标签的内容
soup.find_all('p',{'id':re.compile('cp')})
#获取<p>标签中id为cp的标签对象
print(soup.get_text())
#获取并打印HTML页面中的中文字符