HTTP爬虫 (Request)
我了解到的获取电商网站商品详情数据的方式有两种写法:
首先:
1、选定想要爬取的网站地址(https://www.*****.com/)
2、获取想要爬取数据的容器名称
3、下载cheerio
- 可以通过yarn add cheerio 或者 npm i cheerio
1、通过使用superagent 和 cheerio
1. 下载两个包并导入
2.
2-1. 使用 superagent 去访问你要爬取的页面
=> end() 方法就是访问地址结束的回调函数
2-2. 使用 cheerio 解析一下
=> 使用 cheerio.load(你要解析的内容) 方法
=> 返回值: 就是一个向 $ 函数一样的东西
2-3. 按照你的需求拆解内容
=> 提前准备好一个数组
=> 向数组里面添加
//网址:https://list.jd.com/list.html?cat=670%2C671%2C672&go=0
const superagent = require('superagent')
const cheerio = require('cheerio')
const fs = require('fs')
const goodsList = []
superagent
.get('https://list.jd.com/list.html?cat=670%2C671%2C672&go=0')
.end((err, data) =>