Selenium, Browsermob-Proxy 抓取浏览器network console的HAR

更新，最近刚好又有类似的需求，重新做了一下调研。可以有以下多种方式实现对webdriver的网络侦听。

• HTTP Proxy 【本文示例】。

• seleniumwire [refer] 第三方包，扩展了selenium，实现了网络侦听和其他API。

• selenium 4  [refer] 非Python语言版本可以直接调用BiDi接口实现网络侦听。

• chromedriver logs [refer] 通过解析chrome logs 的performance metrics日志来变相获取网络调用数据。

===========================================================

Web测试的时候，我们经常用到浏览器的开发者工具，分析网页元素，样式（Elements），查看资源加载性能（Network），查看控制台信息（Console）甚至client端源码（Sources）等。

Selenium Webdriver能够定位DOM元素，与之交互，读取样式以进行验证等。但是Selenium只处理“结果”，它无法得知浏览器的网络控制台的信息。如果浏览器在渲染出页面之前，从某个站点加载大量资源信息，Selenium无法知道。

解决方案是，可以使webdriver通过proxy访问网络，再收集proxy端的HAR内容，以分析web应用的行为。

即 Selenium Webdriver + Browsermob-Proxy。

下面是一个简单的Demo， Windows， Python36。

下载Browsermob Proxy

Browsermob-Proxy: https://github.com/lightbody/browsermob-proxy 

截止到本文撰写，最新版是2.1.4 (12/26, 2016)。支持Linux和Windows。

启停Proxy

from browsermobproxy import Server

base_url='https://blog.csdn.net/'
server = Server(r'<path-to-browsermob-proxy>\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat')
server.start()
proxy = server.create_proxy()

配置并启动Selenium webdriver

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy))
chrome_options.add_argument('--disable-gpu')

chrome_driver = r'<path-to-chromedriver.exe>\chromedriver.exe'

driver = webdriver.Chrome(executable_path=chrome_driver, chrome_options = chrome_options)

以目标URL配置一个新的HAR并获取HAR内容

proxy.new_har(base_url)
driver.get(base_url)

分析HAR内容

result = proxy.har

for entry in result['log']['entries']:
    print(entry['request']['url'])

server.stop()
driver.quit()

参考： 

https://testpappy.wordpress.com/2016/12/30/network-console-for-your-test-scripts/

http://www.softwareishard.com/blog/har-12-spec/