html通过id查找标签,Python 爬虫 – 根据id与class查找标签

本章介绍怎么根据id与class查找标签。假设有下面的HTML文档：

A simple example page

First paragraph.

Second paragraph.

First outer paragraph.

Second outer paragraph.

可以通过URL https://kevinhwu.github.io/demo/python-scraping/simple2.html 访问上面的文档。让我们先下载页面并创建一个BeautifulSoup对象:

import requests

from bs4 import BeautifulSoup

page = requests.get("https://kevinhwu.github.io/demo/python-scraping/simple2.html")

soup = BeautifulSoup(page.content, 'html.parser')

根据class查找标签

根据id与class查找标签，使用的仍旧是find_all方法。下面的例子，查找类是outer-text的p标签：

soup.find_all('p', class_='outer-text')

[

First outer paragraph.

Second outer paragraph.

在下面的例子中，查找任何类是outer-text的标签:

soup.find_all(class_="outer-text")

[

First outer paragraph.

Second outer paragraph.

根据id查找标签

另外，也可以通过id查找标签:

soup.find_all(id="first")

[

First paragraph.