03 爬取菜谱清单

最新推荐文章于 2024-02-20 21:31:20 发布

KeepChasing1

最新推荐文章于 2024-02-20 21:31:20 发布

阅读量377

点赞数

分类专栏： # 风变编程_爬虫精进

本文链接：https://blog.csdn.net/qq_40678779/article/details/107098763

版权

本文详细介绍了如何使用Python爬虫技术抓取网络上的美食菜谱，包括选择目标网站、解析HTML、提取数据、处理反爬策略等步骤，帮助读者掌握网络数据的获取技巧。

摘要由CSDN通过智能技术生成

# Author:Nimo_Ding

'''
分析：
我们要爬取热门菜谱清单，内含：菜名、原材料、详细烹饪流程的URL
地址：http://www.xiachufang.com/explore/
在进行爬取之前，我们先去看看它的robots协议：http://www.xiachufang.com/robots.txt
你会发现：我们要爬取的/explore/不在禁止爬取的列表内，但如果你要爬取/recipe/服务器就会不欢迎。
在网页里，recipe是每一道菜的详情页面，记录了这道菜的做法。
如果你真要爬/recipe/里的信息，也能爬取到。只是人家都这样说了，我们就不要去爬它。
'''


# 引用requests库
import requests
# 引用BeautifulSoup库
from bs4 import BeautifulSoup
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}


name=[]
ingredients=[]
url=[]

# 获取数据
res_foods = requests.get('http://www.xiachufang.com/explore/',headers=headers)
# 解析数据
bs_foods = BeautifulSoup(res_foods.text,'html.parser')
print(bs_foods)
# 查找最小父级标签
set_names = bs_foods.find_all(class_='name')
for i