BeautifulSoup
解析数据
提取数据
find()
find_all()
tag对象
select用法
实例
爬取豆瓣250
下电影
BeautifulSoup
使用BeautifulSoup 解析和提取网页中的数据
安装库 pip install BeautifulSoup4
解析数据
解析数据的方法是用BeautifulSoup()
import requests
from bs4 import BeautifulSoup #引入BS库
res=requests.get('http://www.zongheng.com/rank.html')
sp=BeautifulSoup(res.text,'html.parser') #括号中的第0个参数,必须是字符串类型;第1个参数是解析器
print(type(sp))
><class 'bs4.BeautifulSoup'>
提取数据
利用bs解析数据后就可以利用bs中的方法来提取数据。
方法一: find()与find_all()
find()只提取首个满足要求的数据,而find_all()提取出的是所有满足要求的数据。
import requests
from bs4 import BeautifulSoup #引入BS库
res=requests.get('http://www.zongheng.com/rank.html')
sp=BeautifulSoup(res.text,'html.parser') #用BS解析数据,括号中的第0个参数,必须是字符串类型;第1个参数是解析器
tp=sp.find_all('div',class_="borderB_c_dsh")
print(type(tp))
><class 'bs4.element.ResultSet'> #相当于Tag对象以列表结构储存了起来,可以把它当做列表来处理
Tag对象
import requests
from bs4 import BeautifulSoup #引入BS库
res=requests.get('http://www.zongheng.com/rank.html')
sp=BeautifulSoup(res.text,'html.parser') #括号中的第0个参数,必须是字符串类型;第1个参数是解析器
tp=