php 遍历所有网站网址,使用selenium获取网址所加载所有资源url列表信息

抓取数据时，经常遇到有的数据是通过ajax异步调取的，如何通过selenium获取网址所加载的全部请求url地址了，即我们打开开发者工具里面network中记录的请求url列表，可以参考下面代码

# -*- coding=utf-8 -*-

import json

import time

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

url="http://www.phper163.com/";

chrome_options = Options()

#chrome_options.add_argument('--no-sandbox')

#chrome_options.add_argument('--disable-dev-shm-usage')

#chrome_options.add_argument('--disable-gpu')

#chrome_options.add_argument('--headless')

chrome_options.add_experimental_option('w3c', False)

caps = {

'loggingPrefs': {

'performance': 'ALL',

}

}

driver = webdriver.Chrome(desired_capabilities=caps, options=chrome_option