最新带你一步步破解亚马逊 淘宝 京东的反爬虫机制!

一、urllib模块

代码如下：

-- coding:utf-8 --

import urllib.request

req = urllib.request.urlopen(‘https://www.amazon.com’)

print(req.code)

返回结果：状态码：503。

分析：亚马逊将你的请求，识别为了爬虫，拒绝提供服务。

本着科学严谨的态度，我们拿万人上的百度试一下。

返回结果：状态码 200

分析：正常访问

那说明，urllib模块的请求，被亚马逊识别为爬虫，并拒绝提供服务

二、requests模块

1、requests直接爬虫访问

效果如下 ↓ ↓ ↓

代码如下 ↓ ↓ ↓

import requests

url=‘https://www.amazon.com/KAVU-Rope-Bag-Denim-Size/product-reviews/xxxxxx’

r = requests.get(url)

print(r.status_code)

返回结果：状态码：503。

分析：亚马逊同样拒绝了requsets模块的请求

将其识别为了爬虫，拒绝提供服务。

2、我们给requests加上cookie

加上请求cookie等相关信息

效果如下 ↓ ↓ ↓

代码如下 ↓ ↓ ↓

import requests

url=‘https://www.amazon.com/KAVU-Rope-Bag-Denim-Size/product-reviews/xxxxxxx’

web_header={

‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0’,

‘Accept’: ‘/’,

‘Accept-Language’: ‘zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2’,

‘Accept-Encoding’: ‘gzip, deflate, br’,

‘Connection’: ‘keep-alive’,

‘Cookie’: ‘你的cookie值’,

‘TE’: ‘Trailers’}

r = requests.get(url,headers=web_header)

print(r.status_code)

返回结果：状态码：200

分析：返回状态码是200了，正常了，有点爬虫那味了。

3、检查返回页面

我们通过requests+cookie的方法，得到的状态码为200

目前至少被亚马逊的服务器正常提供服务了

我们将爬取的页面写入文本中，通过浏览器打开。

我踏马…返回状态是正常了，但返回的是一个反爬虫的验证码页面。

还是 被亚马逊给挡住了。

三、selenium自动化模块

---

相关selenium模块的安装

pip install selenium

代码中引入selenium，并设置相关参数

import os

from requests.api import options

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

#selenium配置参数

options = Options()

#配置无头参数,即不打开浏览器

options.add_argument(‘–headless’)

#配置Chrome浏览器的selenium驱动

chromedriver=“C:/Users/pacer/AppData/Local/Google/Chrome/Application/chromedriver.exe”

os.environ[“webdriver.chrome.driver”] = chromedriver

#将参数设置+浏览器驱动组合

browser = webdriver.Chrome(chromedriver,chrome_options=options)

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！