from bs4 import BeautifulSoup
import requests
html = requests.get(url=url)
#格式化处理返回soup对象
soup = BeautifulSoup(html.text,'lxml')
#查找div标签,返回一个标签list
Tags = soup.find_all('div')
具体Tag的属性可以自行百度。
这里说俩:Tag.string(bs4.element.NavigableString类型)和Tag.text(str类型)
前者返回的字符串包括了子标签的内容,而后者仅返回当前标签的内容。