【requests】【BeautifulSoup】获取页面简单信息

环境

IDE：Spyder

BeautifulSoup简单测试

import requests
from bs4 import BeautifulSoup
import re

r = requests.get("http://www.baidu.com")
r.encoding = "utf-8"
soup = BeautifulSoup(r.text,features="lxml")
#使用BeautifulSoup将网页内容解析页面内容

print(type(soup))
#查看soup类型

a = soup.find_all('a')
len(a)
#百度界面<a>标签的个数

soup.find_all('a')
#筛选以<a>标签开头的内容

soup.find_all('a',{'class':'lb'})
#筛选<a>标签中class="lb"的内容

soup.find_all('a',{'class':re.compile('lb')})
#使用re筛选<a>标签中class="lb"的内容

soup.find_all(string=re.compile('百度'))
#使用re筛选以“百度”为关键词的内容

做题

soup.find_all('head')
#打印head标签内容

soup.find_all('p')
#获取p标签的内容

soup.find_all('p',{'id':re.compile('cp')})
#获取<p>标签中id为cp的标签对象

print(soup.get_text())
#获取并打印HTML页面中的中文字符

Reference

BeautifulSoup库使用和参数—supreme999