爬取亚马逊评论_用chrome extensions 编写的亚马逊爬虫

我在2018年入职一家外贸公司后,一直从事爬虫工作,接触了很多抓取亚马逊信息的需求。但是在这个过程中,我发现市场上很多公司有爬取数据的需求,考虑到一个开发和维护一个专业爬虫系统成本很高,同时市场上也没有一个符合客户需求的爬虫工具。 所以我产生了开发一个专注于亚马逊数据爬取工具的想法,对比了一些开发方式,独立的爬虫要很多代理进行强制抓数据最近接触到了chrome 插件开发,发现这...
摘要由CSDN通过智能技术生成

我在2018年入职一家外贸公司后,一直从事爬虫工作,接触了很多抓取亚马逊信息的需求。但是在这个过程中,我发现市场上很多公司有爬取数据的需求,考虑到一个开发和维护一个专业爬虫系统成本很高,同时市场上也没有一个符合客户需求的爬虫工具。

所以我产生了开发一个专注于亚马逊数据爬取工具的想法,对比了一些开发方式,独立的爬虫要很多代理进行强制抓数据最近接触到了chrome 插件开发,发现这个可以让运用本地的cookie,在很多方面会比独立运行的爬虫更方便的绕过亚马逊反爬。

目前第一个版本只支持US站点的评论信息,后续有时间也会更新支持更多。

使用说明

1. 环境要求

使用chrome 或者 360极速浏览器

2. 步骤

  • 打开开发者模式

在浏览器中进入 chrome://extensions/ 地址 ,将开发者模式打开 。
chrome: 打开用会出现应用ID

947a1a6271af55a2743809ea089bc9dc.png
  • 使用

进入 https://www.amazon.com/

多个asin 直接贴上去就可以了

1f2e721aea15c7d134aa8afc9b313d09.png
  • 问题

如果asin 比较多下载会比较慢,但是下面会有进度提醒。

如果出现无法点击数据下载按钮,请点击刷新按钮。

链接:https://pan.baidu.com/s/1laXCkEi6lLJAUU49LqlB-w 密码:ulg5

开发者:
ybbzbb
Simi

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值