selenium phantomjs 设置代理ip方法

最新推荐文章于 2019-05-28 15:06:48 发布
最新推荐文章于 2019-05-28 15:06:48 发布
阅读量376 收藏
点赞数
文章标签： python
原文链接：http://www.cnblogs.com/fly-kaka/p/6483588.html
版权

最近遇到phantomjs动态更换ip的功能,在知乎上看到一篇不错的文章，顺手记下来以备后用 phantomjs selenium 如何动态修改代理?

可以这样做（Python代码）： 
# 不使用代理代打开ip138
browser=webdriver.PhantomJS(PATH_PHANTOMJS) browser.get('http://1212.ip138.com/ic.asp') print('1: ',browser.session_id) print('2: ',browser.page_source) print('3: ',browser.get_cookies()) # 利用DesiredCapabilities(代理设置)参数值，重新打开一个sessionId，我看意思就相当于浏览器清空缓存后，加上代理重新访问一次url proxy=webdriver.Proxy() proxy.proxy_type=ProxyType.MANUAL proxy.http_proxy='1.9.171.51:800' # 将代理设置添加到webdriver.DesiredCapabilities.PHANTOMJS中 proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS) browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS) browser.get('http://1212.ip138.com/ic.asp') print('1: ',browser.session_id) print('2: ',browser.page_source) print('3: ',browser.get_cookies()) # 还原为系统代理 proxy=webdriver.Proxy() proxy.proxy_type=ProxyType.DIRECT proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS) browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS) browser.get('http://1212.ip138.com/ic.asp')


转载于:https://www.cnblogs.com/fly-kaka/p/6483588.html

weixin_30559481
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python 在 phantomjs + selenium 添加代理
aysa_bear的博客
05-24 2788
概述：网上有很多文章讲phantomjs+selenium如何添加代理IP的文章，但是亲自试了多个，均不可用。因为我用的是经过认证的代理，网上好多只提供了没有认证的代理IP的办法。而且还有说需要修改phantomjs或selenium源码的，我认为这种办法的可移植性太差。弄了两天多，还是没有办法，后来把问题发到了论坛里，有人给了下边的链接，在linux下只打印出来html空架子，但是看楼主是解决了...
[phantomjs] phantomjs open url with proxy | phantomjs使用代理打开连接
weixin_30394251的博客
10-27 153
phantomjs open url with proxy | phantomjs使用代理打开连接 "use strict"; var page = require('webpage').create(), system = require('system'), host, port, address; if (system.args.length &...
selenium+PhantomJS+IP代理
不写代码的博客
05-28 1641
首先安装selenium、PhantomJS selenium安装pip install selenium PhantomJS安装 这个需要手动的到官网下载 开始使用 导入需要的包 import random from selenium import webdriver from selenium.webdriver.common.proxy import ProxyType # 调用...
【python 爬虫】selenium爬虫模块 phantomjs如何加代理IP
赖德发的博客
08-15 4244
phantomjs在初始化WebDriver时就没有留proxy参数 所以可以像下图一样改一下phantomjs类的源码，就可以在phantomjs中传入proxy参数了修改 下面的代码：class WebDriver(RemoteWebDriver): """ Wrapper to communicate with PhantomJS through Ghostdriver.
Selenium+PhantomJS 设置代理IP
cg_Amaz1ng的博客
04-01 3358
#coding:utf-8 from selenium import webdriver from bs4 import BeautifulSoup import urllib2 import re import sys import codecs import json import random from time import sleep from selenium.webdriver.c...
selenium+phantomjs
01-07
方法:设置代理ip 3.通过访问频率判断是否是非人类请求 方法:设置爬取间隔 和爬取策略 4.验证码 方法:识别验证码 5.页面请求不再直接渲染,通过前端js异步获取 方法:a通过selenium+phantomjs来获取数据 b.找到数据来源...
python爬虫selenium和phantomJs使用方法解析
09-18
同时，可以使用代理IP或设置延迟来提高爬虫的稳定性。 总结，Selenium和PhantomJS为Python爬虫提供了强大的功能，结合它们可以应对复杂的动态网页抓取和自动化测试需求。通过熟练掌握Selenium的API以及合理使用...
selenium设置proxy、headers的方法(phantomjs、Chrome、Firefox)
09-19
### Selenium 设置 Proxy 和 Headers 方法 (PhantomJS、Chrome、Firefox) 在进行自动化测试或爬虫开发时，Selenium 是一个非常强大的工具。它允许我们控制浏览器执行一系列操作，包括但不限于打开网页、填写表单...
selenium+phantomjs实现百度模拟登陆
12-27
在实际应用中，应遵循网站的使用协议，并考虑使用代理IP或其他安全策略来规避风险。 总的来说，Selenium和PhantomJS结合为开发者提供了一种强大且灵活的方式来自动化Web操作，尤其在测试和数据抓取领域。理解并掌握...
selenium设置代理（Phantomjs、Firefox、Chorme）
miaokezhang的博客
12-02 3825
一、PhantomJs： from selenium import webdriver from selenium.webdriver.common.proxy import Proxy from selenium.webdriver.common.proxy import ProxyType proxy = Proxy( { ‘proxyType’: ProxyType.MANUAL, ‘...
phantomjs 使用代理
zpf_07的博客
09-19 7347
前几天爬某一网站，用到phantomjs，要加代理。千幸万苦找到这个方法，赶快记下。方法一： python目录下找到Lib\site-packages\selenium\webdriver\remote\remote_connection.py， RemoteConnection里找到self._commands，添加：Command.EXECUTE_PHANTOM_SCRIPT:('POST
phantomjs和selenium设置proxy、headers
热门推荐
Tcorpion的博客
04-17 1万+
#!/usr/bin/python # -*- coding:utf-8 -*- __author__ = 'Yl-Zh' import random,headers,xmlParse from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.desired_capabi
python + seleinum +phantomjs 设置headers和proxy代理
qq_27426691的博客
08-28 3918
最近因为工作需要使用selenium+phantomjs无头浏览器，其中遇到了一些坑，记录一下，尤其是关于phantomjs设置代理的问题。 基本使用 首先在python中导入使用的包，其中webdriver是要创建无头浏览器对象的模块，DesiredCapabilites这个类是浏览器对象的一些选项设置。 from selenium import webdriver from selen...
selenium设置代理ip
after_you的博客
04-10 1万+
package com.fahai; import java.util.List; import java.util.Random; import java.util.Set; import java.util.concurrent.TimeUnit; import org.openqa.selenium.By; import org.openqa.selenium.W
selenium的一些要注意的地方
WMN7Q的博客
11-12 1133
今天在尝试了一下如何爬取北邮人论坛，最后使用selenium来实现了。下面记录一下使用selenium要注意的地方。 python selenium模块使用出错，错误代码为：Message: ‘geckodriver’ executable needs to be in PATH. ubuntu16.04环境下 解决方法： 下载 geckodriverckod 地址： mozilla/gec
盘点selenium phantomJS使用的坑
weixin_33847182的博客
04-13 363
2019独角兽企业重金招聘Python工程师标准>>> ...
Phantomjs服务模式：从性能并发方面谈起
探索技术世界
10-13 3300
作为比较好的动态网页爬虫手段，phantomjs在许多方面令人比较满意。调用Phantomjs的方式，一般有如下几种情况。命令行模式  在CMD或Shell中，直接输入phantomjs回车，进入命令行模式，能够完成各种操作。但一般情况是通过命令用调用phantomjs来完成爬虫或模拟工作，具体的代码放在JS中。如../bin/phantomjs --debug=yes ./server.js 89
Scrapy集成selenium+PhantomJS+代理IP 解析js动态内容
weixin_33786077的博客
06-02 164
转载于：http://blog.aizhet.com/web/16523.html 转载于:https://www.cnblogs.com/zl0372/p/5553941.html
京东购物车selenium被挡
最新发布
01-03
京东购物车页面使用了一些反爬虫机制，可能会导致Selenium被检测到并被挡住。为了解决这个问题，你可以尝试以下几种方法： 1. 更换浏览器驱动：京东购物车页面对不同的浏览器驱动有不同的检测机制，你可以尝试使用不同的浏览器驱动，如ChromeDriver、FirefoxDriver等，看是否能够绕过检测。 2. 设置浏览器参数：你可以尝试设置一些浏览器参数来模拟真实用户的行为，例如设置User-Agent、禁用JavaScript等，以减少被检测到的概率。 3. 使用无头浏览器：无头浏览器是一种没有界面的浏览器，例如PhantomJS、Headless Chrome等。由于无头浏览器没有界面，所以被检测到的概率较低。 4. 使用代理IP：通过使用代理IP，你可以隐藏你的真实IP地址，增加被检测到的难度。 5. 使用其他库或工具：除了Selenium，还有其他一些库或工具可以用来模拟浏览器行为，例如Pyppeteer、Requests-HTML等，你可以尝试使用它们来绕过检测。 请注意，以上方法并不能保证100%成功，因为京东的反爬虫机制可能会不断更新。你需要根据具体情况进行尝试和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值