selenium+python设置爬虫代理IP

最新推荐文章于 2024-08-03 09:54:22 发布

hjhkkkl

最新推荐文章于 2024-08-03 09:54:22 发布

阅读量2.4k

点赞数

分类专栏： python 文章标签： selenium

本文链接：https://blog.csdn.net/Thoms_/article/details/87167390

版权

本文介绍了在使用selenium爬取网页时，如何设置代理IP以提高爬取速度和应对反爬策略。重点强调了选择稳定、高速的固定IP，以及注意浏览器内存管理和代理验证的问题。

摘要由CSDN通过智能技术生成

1. 背景
在使用selenium浏览器渲染技术，爬取网站信息时，一般来说，速度是很慢的。而且一般需要用到这种技术爬取的网站，反爬技术都比较厉害，对IP的访问频率应该有相当的限制。所以，如果想提升selenium抓取数据的速度，可以从两个方面出发：第一，提高抓取频率，出现验证信息时进行破解，一般是验证码或者用户登录。
第二，使用多线程 + 代理IP，这种方式，需要电脑有足够的内存和充足稳定的代理IP 。
2. 为chrome设置代理IP

from selenium import webdriver
chromeOptions = webdriver.ChromeOptions()

# 设置代理
chromeOptions.add_argument("--proxy-server=http://202.20.16.82:10152")
# 一定要注意，=两边不能有空格，不能是这样--proxy-server = http://202.20.16.82:10152
browser = webdriver.Chrome(chrome_options = chromeOptions)

# 查看本机ip，查看代理是否起作用
browser.get("http://httpbin.org/ip")
print(browser.page_source)

# 退出，清除浏览器缓存
browser.quit()

注意事项：
第一，代理IP最好是稳定的固定IP，不要选动态IP。我们常用的爬虫IP是高匿名动态IP，是通过拨号动态产生的，时效性很短，一般在1~3