总述:
介绍seleinum在爬取的时候,如何设置代理
代码:
from selenium import webdriver
proxy = '182.85.206.240:6553'
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://' + proxy)
chrome = webdriver.Chrome(chrome_options=chrome_options)
chrome.get('http://httpbin.org/get')
print(chrome.pagesourse)
这样就将你的代理ip设置成了182.85.206.240,当然你看到这篇文章的时候这个ip肯定不能用了
如果你需要多个ip随机使用的话,加个随机数就可以了
PROXIES = [
{'ip_port': '182.85.206.240:6333', 'user_pass': ''},
{'ip_port': '182.82.226.250:44836', 'user_pass': ''},
{'ip_port': '182.83.227.4:44306', 'user_pass': ''},
{'ip_port': '182.84.227.14:4626', 'user_pass': ''},
]
random_num = random.randint(0, 3)
proxy = PROXIES[random_num]['ip_port']
Firefox_options = webdriver.FirefoxOptions()
Firefox_options.add_argument('--proxy-server=http://' + proxy)
如何获取代理ip呢:
免费的:https://www.xicidaili.com/?tdsourcetag=s_pctim_aiomsg 这个十个里面可能有1个能用
收费的:淘宝买吧,一个ip一天的使用也只需要1元左右。