洛塔博士的博客

前言先查看robots协议，很不巧，shopee不允许任何人爬取数据。https://xiapi.xiapibuy.com/robots.txt所以本篇仅适用于技术探讨，请勿做成机器人去爬对应网站数据。道理上来说，他仅限于好的机器人遵循这个规律，也相信大家的机器人都是好的。shopee的七个市场链接如下，本篇以台湾省的网站为例。台湾省：https://xiapi.xiapibuy.com/马来西亚：https://my.xiapibuy.com/印度尼西亚：https://id.xiapib

前言先查看rebots协议，不让爬的数据咱不动。以马来西亚站点为例：https://www.lazada.com.my/robots.txt处理逻辑如果从首页进入，然后查看请求商品数据，请求参数中都有appKey和sign，也就是sign不破解出来是万万拿不到数据的，而且如果sign错误了一次，再请求的时候jsv参数就会跟着变，造成很难找到固定的规律。但是，首页的分类点击进入的页面是不需要sign的，这个就方便太多了。商品分类商品列表页使用这个（或者直接使用首页也可以）：https://pag

前述亚马逊中国站获取全部商品分类：https://blog.csdn.net/m0_58095675/article/details/120624031亚马逊中国站获取商品列表：https://blog.csdn.net/m0_58095675/article/details/120629322手动获取库存方式流程一般为：商品详情页添加到购物车——>购物车修改数量为999——>提示只有多少数量（即库存）或者最大只允许购买数量（卖家限制了最大购买数，此时无法获取库存数量）。截了几张图简单说

前述亚马逊中国站获取全部商品分类：https://blog.csdn.net/m0_58095675/article/details/120624031亚马逊中国站获取商品列表：https://blog.csdn.net/m0_58095675/article/details/120629322声明该方法也可能出现验证码问题，详细参照验证码处理篇，本篇不再赘述。如果仅仅是为了测试，可以简单的只修改user-agent，这样就不会出现验证码了。两种方式介绍通过ASIN获取商品信息至少有两种方式，第

前述亚马逊中国站获取全部商品分类：https://blog.csdn.net/m0_58095675/article/details/120624031亚马逊中国站获取商品列表：https://blog.csdn.net/m0_58095675/article/details/120629322出现验证码情形一般来说，如果相同ip请求过于频繁，就会出现图形验证码，如果使用不同的user-agent来请求，也可以降低出现验证码的频率，但是不能完全避免。处理方式测试通过的有两种方式。方式一：使用网络

前述亚马逊中国站获取全部商品分类：https://blog.csdn.net/m0_58095675/article/details/120624031亚马逊中国站获取商品列表：https://blog.csdn.net/m0_58095675/article/details/120629322获取入口入口来源于商品分类，可以直接使用商品分类中打印出来的地址，比如分类配件和耗材的： https://www.amazon.com/-/zh/s?bbn=16225009011&rh=i%3Asp

前述亚马逊中国站获取全部商品分类：https://blog.csdn.net/m0_58095675/article/details/120624031亚马逊中国站获取商品列表：https://blog.csdn.net/m0_58095675/article/details/120629322亚马逊国际站亚马逊中国站网址为https://www.amazon.com/ ，截至当前，全部商品分类信息入口可以从首页左上角，点击全部，然后查看全部商品分类。分类的获取查看网络请求信息，可以很容易站到

前述亚马逊中国站获取全部商品分类：https://blog.csdn.net/m0_58095675/article/details/120624031亚马逊中国站获取商品列表：https://blog.csdn.net/m0_58095675/article/details/120629322手动获取库存方式流程一般为：商品详情页添加到购物车——>购物车修改数量为999——>提示只有多少数量（即库存）或者最大只允许购买数量（卖家限制了最大购买数，此时无法获取库存数量）。截了几张图简单说

前述亚马逊中国站获取全部商品分类：https://blog.csdn.net/m0_58095675/article/details/120624031亚马逊中国站获取商品列表：https://blog.csdn.net/m0_58095675/article/details/120629322两种方式介绍通过ASIN获取商品信息至少有两种方式，第一种是进入商品详情页，第二种是通过搜索得到商品信息。进入商品详情页拼接访问链接：https://www.amazon.cn/dp/ + asin编码，

前述假设已经获取到了全部分类，本篇只处理“男装”分类下的全部商品，其他分类的情况相同。获取全部分类的相关内容可参考https://blog.csdn.net/m0_58095675/article/details/120624031获取入口从商品分类进入的页面中，每个页面底部都有查看全部的商品按钮，找到这个按钮对应的元素，得到对应的url，即为分页列表数据的入口页。男装的入口页即为：https://www.amazon.cn/s?rh=n%3A2152155051&fs=true&

亚马逊中国站亚马逊中国站网址为https://www.amazon.cn/ ，截至当前，全部商品分类信息入口可以从首页左上角鼠标滑过查看到。分类的获取直接查看源代码即可，搜索分类的关键字，可以找到对应的JSON格式数据如下其中，shopAllContent为第一层数据，直接逐个读取items中的panelKey，匹配对应JSON项即可得到全部内容。解析后的数据如果只是需要数据，如下为绝大部分分类和对应的链接。部分无效链接已经屏蔽，如果确实需要可以手动点击进去之后调整（亚马逊直接点击对应分类链