爬虫（二）BeautifulSoup,解析数据，提取数据，find,find_all,select用法，爬取豆瓣250排行榜，下电影

BeautifulSoup

解析数据

提取数据

find()

find_all()

tag对象

select用法

实例

爬取豆瓣250

下电影

---

BeautifulSoup

使用BeautifulSoup 解析和提取网页中的数据
安装库 pip install BeautifulSoup4

解析数据

解析数据的方法是用BeautifulSoup()

import requests     
from bs4 import BeautifulSoup    #引入BS库

res=requests.get('http://www.zongheng.com/rank.html')
sp=BeautifulSoup(res.text,'html.parser')     #括号中的第0个参数，必须是字符串类型；第1个参数是解析器

print(type(sp))
><class 'bs4.BeautifulSoup'>  

提取数据

利用bs解析数据后就可以利用bs中的方法来提取数据。
方法一： find()与find_all()
find()只提取首个满足要求的数据，而find_all()提取出的是所有满足要求的数据。

import requests     
from bs4 import BeautifulSoup    #引入BS库

res=requests.get('http://www.zongheng.com/rank.html')
sp=BeautifulSoup(res.text,'html.parser')     #用BS解析数据，括号中的第0个参数，必须是字符串类型；第1个参数是解析器

tp=sp.find_all('div',class_="borderB_c_dsh")
print(type(tp))

><class 'bs4.element.ResultSet'>   #相当于Tag对象以列表结构储存了起来，可以把它当做列表来处理

Tag对象

import requests     
from bs4 import BeautifulSoup    #引入BS库

res=requests.get('http://www.zongheng.com/rank.html')
sp=BeautifulSoup(res.text,'html.parser')     #括号中的第0个参数，必须是字符串类型；第1个参数是解析器

tp=