python + selenium + browsermobproxy环境配置

1.python版本：3.6

1.1. 使用anaconda创建一个python3.6版本的虚拟环境（非必要）

anaconda安装：https://blog.csdn.net/qq_37392932/article/details/81210470

在cmd中输入：

conda create -n python36 python=3.6

2. 安装selenium

先激活虚拟环境：

conda activate python36

pip安装slenium：

python -m pip install selenium

安装驱动：需要找到匹配chrome版本的驱动，查看chrome驱动可以上百度搜

http://npm.taobao.org/mirrors/chromedriver/

3.安装browsermobproxy

3.1.安装browsermobproxy包

python -m pip install browsermob-proxy  

3.2.下载压缩包

下载地址如下 https://github.com/lightbody/browsermob-proxy

3.3.安装Java11（必须是Java11）

3.4.安装证书（有的会证书不安全，不是必须）

https://github.com/lightbody/browsermob-proxy/blob/master/browsermob-core/src/main/resources/sslSupport/ca-certificate-rsa.cer

下载文件，然后在chrome中安装证书

4.代码实例

from browsermobproxy import Server
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
 

browsermobproxy_location = "D:/Application/chromedriver/browsermob-proxy-2.1.4/bin/browsermob-proxy"  # browsermob-proxy路径
server = Server(browsermobproxy_location)
server.start()
proxy = server.create_proxy(params={'trustAllServers':'true'})
chrome_options = Options()
chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy))
driver = webdriver.Chrome(options=chrome_options)
base_url = "要爬取的url"
proxy.new_har("test", options={'captureHeaders': True, 'captureContent': True})
driver.get(base_url)
result = proxy.har # 获取network中的请求