一,数据解析原理
1,标签定位
2,提取标签,标签属性中存储的数据值
二,bs4数据解析原理
1,实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中
2,通过调用BeautifulSoup对象中相关属性或者方法进行标签定位和数据提取
三,如何实例化BeautifulSoup对象
from bs4 import BeautifulSoup
#从互联网中将数据加载到该对象中
response = requests.get(url=url, headers=headers)
page_text = response.text
soup=BeautifulSoup(page_text,'html.parser')
#html解析器:html.parser ,前一个参数则是要解析的内容
#将本地的html文档中的数据记载到该对象中
fp = open('**.html', 'r', encounding='utf-8')
soup = BeautifulSoup(fp,'lxml')
1,对象实例化:
a—将本地的html文档中的数据加载到该对象中
b—将互联网上获取的页面源码加载到该对象中
2,提供的用于数据解析的方法和属性:
soup.+以下的方法和属性
div_list=soup.find_all(class_='content__list--item')
#返回所有以(class_='content__list--item')开始的标签,并形成列表