Python爬虫解析网页内容_python分析网页

# 查找class属性为"intro"的<div>标签
div_tags = soup.find_all('div', attrs={'class': 'intro'})
for div_tag in div_tags:
    print(div_tag.text)

在上面的例子中，我们使用find_all()方法的attrs参数来查找class属性为"intro"的<div>标签，并使用循环遍历打印每个标签的文本内容。

案例

案例1：解析天气预报
假设我们需要获取某个城市的天气预报信息，我们可以使用Python爬虫和BeautifulSoup库来解析相关网页内容。以下是一个简单的例子：

from bs4 import BeautifulSoup
import requests

# 发起请求，获取天气预报网页内容
url = 'https://www.xxxx.com'
response = requests.get(url)
html_content = response.text

# 创建BeautifulSoup对象
soup = BeautifulSoup(html_content, 'html.parser')

# 解析天气预报网页内容
forecast_tag = soup.find('div', attrs={'class': 'forecast'})
print('天气预报:', forecast_tag.text)

在上面的例子中，我们使用requests模块发起请求ÿ