手把手教你使用Python网络爬虫获取菜谱信息

/1 前言/

    在放假时 ，经常想尝试一下自己做饭，下厨房这个网址是个不错的选择。

    下厨房是必选的网址之一，主要提供各种美食做法以及烹饪技巧。包含种类很多。

    今天教大家去爬取下厨房的菜谱 ，保存在world文档，方便日后制作自己的小菜谱。

 

 

/2 项目目标/

    获取菜谱，并批量把菜 名、 原 料 、下 载 链 接 、下载保存在world文档。

 

/3 项目准备/

软件：PyCharm

需要的库：requests、lxml、fake_useragent、time

网站如下：

•  

https://www.xiachufang.com/explore/?page={}

点击下一页时，每增加一页page自增加1，用{}代替变换的变量，再用for循环遍历这网址，实现多个网址请求。

 

/4 反爬措施的处理/

主要有两个点需要注意：

1、直接使用requests库，在不设置任何header的情况下，网站直接不返回数据

2、同一个ip连