Selenium 突破网站反爬虫

最新推荐文章于 2024-08-21 16:03:12 发布

ZJ_Frank

最新推荐文章于 2024-08-21 16:03:12 发布

阅读量1.7k

点赞数 1

分类专栏：爬虫

本文链接：https://blog.csdn.net/ZJ_11701/article/details/110100406

版权

本文介绍了在使用Selenium进行爬虫时遇到的网站反爬问题及解决方案。方法包括更换火狐浏览器和利用Chrome的developer选项，通过driver.execute_cdp_cmd命令修改window.navigator.webdriver属性，以避开JavaScript的检测。理解window.navigator.webdriver的工作原理是关键，这有助于编写反爬虫程序。文章强调了爬虫技术的复杂性和深入学习的必要性。

摘要由CSDN通过智能技术生成

今天在使用 Selenium以及谷歌浏览器进行爬虫的时候被拦截了。在查阅资料后得出解决方法如下：

方法一

换用火狐浏览器

from selenium import webdriver
url = "SOME URL YOU WANT TO SCRAPE"
user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0.3 Safari/605.1.15"
profile = webdriver.FirefoxProfile()
profile.set_preference("general.useragent.override", user_agent)

driver = webdriver.Firefox(firefox_profile=profile)
# Create a new instance of the Firefox driver
driver = webdriver