关于前端使用爬虫获取信息
1.下载插件:superagent()
npm i superagen
作用:专门用来在node里面发送请求第三方
2.cherrio()
作用:专门用来把一段html结构解析为一个像jQuery一样的函数的方法
3.流程
* 使用node去访问网站
* 使用superagent访问网站
* 导入const superagenet=require(“superagent”)
* 拿到html
-
导入const superagenet=require(“superagent”
-
使用superagent.get(‘地址’,回调函数)
-
-
拿到HTML结构
-
解析data,组装成对象
- data是包含页面的整体信息
- data.text才是完整的页面
- 此处使用cheerio第三方包
- 下载 npm i cheerio
- 导入cheerio
-
使用cheerio
- cheerio.load(要解析的内容)
- 返回值:就是像jQuery的函数
- const $=cheerio.load(page)