使用selenium操作PhantomJS的常用操作

最新推荐文章于 2022-07-11 07:35:00 发布

穆洛玄

最新推荐文章于 2022-07-11 07:35:00 发布

阅读量346

点赞数

分类专栏： spider实例

spider实例专栏收录该内容

7 篇文章 1 订阅

订阅专栏

采集淘宝商品数据的时候，主要用到了Selenium+PhantomJS。在这个过程中对淘宝的严厉反爬措施佩服至极，个人也得到了很多成长。虽然历经曲折，最终还是能正常运行自己的脚本采集数据。

这里总结一下Selenium+PhantomJS使用中常用的操作。

设置等待时间隐式等待，等同于time.sleep()

driver.implicitly_wait(40)

设置PhantomJS发送和接收请求的相关参数

# 构造一个PHANTOMJS对象
phan = dict(DesiredCapabilities.PHANTOMJS)

# 在运行前修改对象参数

#设置user-agent请求头
UserAgent = "..."
phan["phantomjs.page.settings.userAgent"] = (UserAgent)

# 禁止加载图片
phan["phantomjs.page.settings.loadImages"] = False

# 设置请求cookie
phan["phantomjs.page.customHeaders.Cookie"] = 'SINAGLOBAL=3955422793326.2764.1451802953297;
'
# 禁用缓存
phan["phantomjs.page.settings.disk-cache"] = True

# 设置代理
service_args = ['--proxy=127.0.0.1:9999','--proxy-type=socks5']

# 加载自定义配置
driver = webdriver.PhantomJS(r"D:\phantomjs-2.1.1-windows\bin\phantomjs.exe",desired_capabilities=phan,service_args=service_args)

# 设定get url最大等待时间，规定时间内没有响应就会报错
# 类似于requests.get()的timeout选项，但driver.get()没有timeout选项
driver.set_page_load_timeout(40)

# 设置脚本超时时间
driver.set_script_timeout(10)

关于PhantomJS对象的settings 参数

phan["phantomjs.page.settings.xxxx"] = xxxx
该属性存储请求/接收的各种设置：

javascriptEnabled定义是否在页面中执行脚本（默认为true）。

loadImages定义是否加载内联图像（默认为true）。

localToRemoteUrlAccessEnabled定义本地资源（例如从文件）是否可以访问远程URL（默认为false）。

userAgent 定义当网页请求资源时发送到服务器的用户代理。

userName 设置用于HTTP身份验证的用户名。

password 设置用于HTTP身份验证的密码。

XSSAuditingEnabled定义是否应监视加载请求以进行跨站点脚本尝试（默认为false）。

webSecurityEnabled定义是否启用Web安全性（默认为true）。

resourceTimeout（以毫秒为单位）定义超时时间，所请求的资源将停止尝试并继续执行页面的其他部分。onResourceTimeout回调将在超时时调用。

切换到操作iframe

flag = driver.find_element_by_tag_name('iframe')
driver.switch_to.frame(flag)
切换回操作主窗口

driver.switch_to.default_content()

获得session_id page_source get_cookies()

browser.session_id
browser.page_source
browser.get_cookies()

另外使用phantomjs多线程会有异常卡死的情况，尽量使用多进程。

from multiprocessing import Pool
pool = Pool(8)
data_list = pool.map(func, url_list)
pool.close()
pool.join()

对于有可能异常退出情况，最好加一句driver.quit()，否则程序退出了但是phantomjs没有退出，一直占用资源。

driver.quit()

使用chrome时，可以隐藏chrome的界面运行

from pyvirtualdisplay import Display
display = Display(visible=0, size=(800,800))
display.start()

设置代理，清空缓存重新打开

利用DesiredCapabilities(代理设置)参数值，重新打开一个sessionId，我看意思就相当于浏览器清空缓存后，加上代理重新访问一次url

proxy=webdriver.Proxy()
proxy.proxy_type=ProxyType.MANUAL
proxy.http_proxy='1.9.171.51:800'
# 将代理设置添加到webdriver.DesiredCapabilities.PHANTOMJS中
proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)
browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS)
browser.get('http://1212.ip138.com/ic.asp')

还原到系统（自己的ip）代理

proxy=webdriver.Proxy()
proxy.proxy_type=ProxyType.DIRECT
proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)
browser.start_session(webdriver.DesiredCapabilities.PHANTOMJS)
browser.get('http://1212.ip138.com/ic.asp')

原文：https://blog.csdn.net/weixin_39198406/article/details/78231439