最全总结 | 聊聊 Selenium 隐藏浏览器指纹特征的几种方式

我们使用 Selenium 对网页进行爬虫时，如果不做任何处理直接进行爬取，会导致很多特征是暴露的

对一些做了反爬的网站，做了特征检测，用来阻止一些恶意爬虫

本篇文章将介绍几种常用的隐藏浏览器指纹特征的方式

1. 直接爬取

目标对象：

aHR0cHM6Ly9xaWthbi5jcXZpcC5jb20vUWlrYW4vU2VhcmNoL0FkdmFuY2U=

我们使用 Selenium 直接爬取目标页面

1. # selenium 直接爬取

3. from selenium import webdriver

4. from selenium.webdriver.chrome.options import Options

5. from selenium.webdriver.chrome.service import Service

6. import time

8. chrome_options = Options()

10. s = Service(r"chromedriver.exe路径")

12. driver = webdriver.Chrome(service=s, options=chrome_options)

14. driver.get(url='URL')

16. driver.save_screenshot('result.png')

18. # 保存

19. source = driver.page_source

20. with open('result.html', 'w') as f:

21. f.write(source)

23. time.sleep(200)

页面明显做了反爬，网页返回直接返回空白内容

2. CDP

CDP 全称为 Chrome Devtools-Protocol

https://chromedevtools.github.io/devtools-protocol/

通过执行 CDP 命令，可以在网页加载前运行一段代码，进而改变浏览器的指纹特征

比如，window.navigator.webdriver 在 Selenium 直接打开网页时返回结果为 true；而手动打开网页时，该对象值为 undefined

因此，我们可以利用 CDP 命令修改该对象的值，达到隐藏指纹特征的目的

1. from selenium import webdriver

2. from selenium.webdriver.chrome.options import Options

3. from selenium.webdriver.chrome.service import Service

4. import time

6. chrome_options = Options()

8. s = Service(r"chromedriver.exe路径")

10. driver = webdriver.Chrome(service=s, options=chrome_options)

12. # 执行cdp命令，修改（window.navigator.webdriver ）对象的值

13. driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {

14. "source": """

15. Object.defineProperty(navigator, 'webdriver', {

16. get: () => undefined

17. })

18. """

19. })

21. driver.get(url='URL')

23. driver.save_screenshot('result.png')

25. # 保存

26. source = driver.page_source

27. with open('result.html', 'w', encoding='utf-8') as f:

28. f.write(source)

30. time.sleep(200)

需要指出的是，浏览器的指纹特征很多，使用该方法存在一些局限性

3. stealth.min.js

该文件包含了常用的浏览器特征，我们只需要读取该文件，然后执行 CDP 命令即可

下载地址：

https://github.com/berstend/puppeteer-extra/tree/stealth-js

1. from selenium import webdriver

2. from selenium.webdriver.chrome.options import Options

3. from selenium.webdriver.chrome.service import Service

4. from selenium.webdriver.common.by import By

5. import time

7. chrome_options = Options()

9. # 无头模式

10. # chrome_options.add_argument("--headless")

12. # 添加请求头

13. chrome_options.add_argument(

14. 'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36')

16. s = Service(r"chromedriver.exe路径")

18. driver = webdriver.Chrome(service=s, options=chrome_options)

20. # 利用stealth.min.js隐藏浏览器指纹特征

21. # stealth.min.js下载地址：https://github.com/berstend/puppeteer-extra/tree/stealth-js

22. with open('./stealth.min.js') as f:

23. driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {

24. "source": f.read()

25. })

27. driver.get(url='URL')

28. # driver.get(url='https://bot.sannysoft.com/')

30. # 保存图片

31. driver.save_screenshot('result.png')

33. time.sleep(200)

4. undetected_chromedriver

这是一个防止浏览器指纹特征被识别的依赖库，可以自动下载驱动配置再运行

项目地址：

https://github.com/ultrafunkamsterdam/undetected-chromedriver
使用步骤也很方便

首先，我们安装依赖库

1. # 安装依赖

2. pip3 install undetected-chromedriver

然后，通过下面几行代码就能完美隐藏浏览器的指纹特征

1. from selenium.webdriver.chrome.options import Options

2. from selenium.webdriver.chrome.service import Service

3. import time

4. import undetected_chromedriver as uc

6. chrome_options = Options()

7. # chrome_options.add_argument("--headless")

9. s = Service(r"chromedriver.exe")

11. driver = uc.Chrome(service=s, options=chrome_options)

13. driver.get(url='URL')

14. # driver.get(url='https://bot.sannysoft.com/')

16. driver.save_screenshot('result.png')

17. time.sleep(100)

5. 操作已开启的浏览器

最后一种方式上篇文章已经介绍过

如何利用 Selenium 对已打开的浏览器进行爬虫！

我们只需要通过命令行启动一个浏览器

1. import subprocess

3. # 1、打开浏览器

4. # 指定端口号为：1234

5. # 配置用户数据路径：--user-data-dir

6. cmd = 'C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe --remote-debugging-port=1234 --user-data-dir="C:\\selenum\\user_data"'

8. subprocess.run(cmd)

然后，利用 Selenium 直接操作上面的浏览器即可模拟正常操作浏览器的行为

1. import time

2. from selenium import webdriver

3. from selenium.webdriver.chrome.options import Options

4. from selenium.webdriver.chrome.service import Service

6. # 操作上面已经打开的浏览器，进行百度搜索

7. chrome_options = Options()

9. # 指定已经打开浏览器的地址及端口号

10. chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:1234")

12. # 注意：chrome版本与chromedirver驱动要保持一致

13. # 下载地址：http://chromedriver.storage.googleapis.com/index.html

14. s = Service(r"chromedriver.exe")

16. driver = webdriver.Chrome(service=s, options=chrome_options)

18. # 打开目标网站

19. driver.get(url="URL")

21. time.sleep(200)

6. 最后

上面罗列出了多种应对网站反爬的解决方案，大家可以根据实际需求去选择适合自己的方案