17-BeautifulSoup

bs4在爬虫的应用

一、bs4的作用

bs4（BeautifulSoup）是用来解析网页数据的第三方库，下载的时候用beautifulsoup4

使用的时候需要导入

from bs4 import BeautifuiSoup

二、bs4的用法

使用流程：

• 准备需要解析的网页的数据

• 基于网页源代码创建BeautifulSoup对象

  soup对象代表网页对应的html标签（代表整个网页）

• 通过css选择器or标签对象获取标签

  soup.select(css选择器)--从整个网页中获取css选择器选中的所有标签，返回值是列表，列表中的元素是标签对象
  soup.select_one(css选择器)--从整个网页中获取css选择器选中的第一个标签  返回值是标签对象
  

  标签对象.select()--在指定的标签中获取css选择器选中的所有标签
  标签对象.select_one()--在指定的标签中获取css选择器选中的第一个标签
  

• 然后获取标签中的内容或者属性

  a）获取镖旗内容 --- 标签对象.text
  b）获取标签属性 --- 标签对象.attrs['属性名']
  

示例如下：

from bs4 import  BeautifulSoup
from re import requests
html=requests.get(url).text
soup=BeautifulSoup(html,'lxml')
soup.select('')