爬虫 day 02 bs4的作用

bs4的作用

bs4专门用来解析网页数据的第三放库（基于css选择器解析网页数据）

使用bs4做数据解析的时候，需要安装lxml这个第三方库

bs4的用法

1）准备需要解析的数据(获取网页数据）

html=requestes.get(网页数据).text

2)基于网页源代码创建Beautifulsoup对象

soup对象代表网页对应的html标签（代表整个网页）

soup=BeautifulSoup(html.‘lxml’)

3)获取标签

soup.select(css选择器) -在整个网页中获取所有css选择器选中的所有的标签，返回值是一个列表，列表中的元素是标签对象

soup.select_one(css选择器) -在指定标签中获取css选择器选中的第一个标签

4）获取标签内容和标签属性

获取标签内容：标签对象.text

获取标签属性:标签对象.attrs[属性名]