爬虫项目实操二、爬取“下厨房”网站的菜名、所需材料、和菜名所对应的详情页URL

最新推荐文章于 2023-03-02 16:48:18 发布

随风的博客

最新推荐文章于 2023-03-02 16:48:18 发布

阅读量1.5k

点赞数 3

分类专栏：学习笔记之Python爬虫项目实操文章标签： python

本文链接：https://blog.csdn.net/weixin_53823523/article/details/115419053

版权

本文介绍了一个Python爬虫项目，实操爬取下厨房网站的‘本周最受欢迎’栏目中的菜名、所需材料及详情页URL。遵循robots协议，避免爬取recipe详情页面。通过分析和代码实现，提取并组合所需数据，处理可能出现的数据不匹配问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

项目—爬取“下厨房”网站的菜名、所需材料、和菜名所对应的详情页URL。
它有一个固定栏目，叫做“本周最受欢迎”，收集了当周最招人喜欢的菜谱。地址如下：
http://www.xiachufang.com/explore/
在进行爬取之前，我们先去看看它的robots协议。网址在此：
http://www.xiachufang.com/robots.txt
因为这个页面挺长的，所以我不再为你放截图。阅读这个robots协议，你会发现：我们要爬取的/explore/不在禁止爬取的列表内，但如果你要爬取/recipe/服务器就会不欢迎。在网页里，recipe是每一道菜的详情页面，记录了这道菜的做法。
如果你真要爬/recipe/里的信息，也能爬取到。只是人家都这样说了，我们就不要去爬它。

完整代码如下:

# 引用requests库
import requests
# 引用BeautifulSoup库
from bs4 import BeautifulSoup

# 为躲避反爬机制，伪装成浏览器的请求头
headers = {
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
# 获取数据
res_foods = requests.get('http://www.xiachufang.com/explore/',headers=headers)
# 解析数据
bs_foods =

最低0.47元/天解锁文章