本文介绍了如何使用正则表达式爬取下厨房中与早餐、午餐、晚餐相关的菜谱信息，包括菜谱链接、图片地址、菜名、材料、做菜人数以及作者。在爬取过程中，对早餐的特殊跳转链接进行了单独处理，并通过多线程进行页面抓取。此外，还使用Selenium和PhantomJS进行网页截图并保存。尽管存在一些问题，如非统一的评分提取和文件名特殊字符处理，但整体实现了基本的爬虫功能。18页的爬取在5.5分钟内完成，代码可在GitHub找到。
目的
1) 提取下厨房关键词为（早餐，午餐，晚餐）的菜谱
2) 获取“菜谱链接，图片地址，菜名，材料，七天内多少人做过，作者“，存储到MONGODB
3) 对每个菜谱进行网页截图，保存到本地
2. 目标站点分析
网址：
输入关键词“早餐”，发现是跳转链接（暂时没想到这种怎么处理比较好，就单独拿出来处理吧）
午餐和晚餐的网址就比较一致
3. 爬取思路（以午餐为例）
1) 根据午餐关键词，组合url，请求得到第一页结果
2) 解析第一页结果，使用正则表达式获取，提取详情页信息和其他信息
3) 根据详情页信息的url获取详情页，截图保存，文件夹使用详情页URL的ID_菜名
4) 改变page参数
最低0.47元/天 解锁文章
扫一扫
1098
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
