前情概要
由于我主职是Java开发,所以在之前开发的菜谱小程序中使用springboot+jsoup实现了菜谱数据的爬取,但是这样上线的小程序就必须依赖于我自己的服务器,万一哪天我囊中羞涩不续费我的小服务器了那不是小程序也终结了?所以我选择使用微信小程序的云开发重构它,这样可以让它一直运行着,毕竟免费的限额以我这个小程序还不至于超出去的,但是云开发使用的是node,所以经过查资料和写demo做了一个简单的测试分享出来。希望对大家有帮助。
正式介绍
我采用的是node+cheerio,cheerio主要就是用来进行解析html,起始它和jsoup的使用方法类似,都是类似jQuery的样式选择器语法,所以使用起来很方便。
代码地址:https://gitee.com/hlovez/node-reptile.git
拉取代码后启动程序
git clone https://gitee.com/hlovez/node-reptile.git
cd node-reptile
npm start
运行demo后访问http://localhost:3000后会出现一个简单的页面共大家测试效果,如下图:
我这里提供了5个测试接口:
- 测试接口
- 获取每日三餐接口
- 获取首页不同类型推荐列表
- 查询菜谱接口
- 查询指定菜谱详情接口
具体每个接口可点击超链接查看内容,效果如下:
具体使用方法可以查看index.js
这个文件里的内容。爬取其他数据也是类似这样的逻辑。