我跟chatgpt学爬虫

最新推荐文章于 2024-09-14 14:25:22 发布

Sai-T

最新推荐文章于 2024-09-14 14:25:22 发布

阅读量580

点赞数

分类专栏：爬虫文章标签：爬虫 python 开发语言

本文链接：https://blog.csdn.net/qq_42461553/article/details/129393500

版权

本文介绍了如何使用Python进行网页爬取，通过xpath定位菜名、调料和操作步骤，将数据整理并保存为JSON格式。针对www.xiachufang.com网站的菜谱，展示了一段详细的爬虫脚本实现。

摘要由CSDN通过智能技术生成

帮我用python写一个脚本爬取www.xiachufang.com的菜谱

import requests
from bs4 import BeautifulSoup

# 要爬取的页面 URL
url = 'https://www.xiachufang.com/category/40076/'

# 发送 GET 请求并获取响应内容
response = requests.get(url)

# 使用 BeautifulSoup 解析响应内容
soup = BeautifulSoup(response.content, 'html.parser')

# 查找所有的菜谱元素
recipes = soup.find_all('div', class_='info pure-u')

# 遍历所有的菜谱元素，并输出菜谱名称和URL
for recipe in recipes:
    name = recipe.find(