通过cheerio和superagent爬取(获取)电商网站的商品数据(附加案例)

本文介绍了如何利用HTTP爬虫技术,特别是通过superagent和cheerio库,来爬取电商网站的商品数据。首先确定目标网址,识别数据容器,然后安装cheerio库,从而实现数据抓取。
摘要由CSDN通过智能技术生成

HTTP爬虫 (Request)

我了解到的获取电商网站商品详情数据的方式有两种写法:
首先:
1、选定想要爬取的网站地址(https://www.*****.com/)
2、获取想要爬取数据的容器名称
3、下载cheerio
- 可以通过yarn add cheerio 或者 npm i cheerio

1、通过使用superagent 和 cheerio

1. 下载两个包并导入
2. 
  2-1. 使用 superagent 去访问你要爬取的页面
    => end() 方法就是访问地址结束的回调函数
  2-2. 使用 cheerio 解析一下
    => 使用 cheerio.load(你要解析的内容) 方法
    => 返回值: 就是一个向 $ 函数一样的东西
  2-3. 按照你的需求拆解内容
    => 提前准备好一个数组
    => 向数组里面添加
//网址:https://list.jd.com/list.html?cat=670%2C671%2C672&go=0

const superagent = require('superagent')
const cheerio = require('cheerio')
const fs = require('fs')

const goodsList = []

superagent
  .get('https://list.jd.com/list.html?cat=670%2C671%2C672&go=0')
  .end((err, data) => 
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值