用selenium+ajax抓取数据

上一篇文章只用了selenium模拟浏览器加载数据，实际上爬取网页的数据是ajax请求得到的，这次用ajax请求加载原始网页的数据，再通过浏览器模拟加载二级网页的视频，真正的视频下载可以通过构造requests请求爬取视频源代码。
#通过ajax发送请求加载网页
import requests
import json
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
import os
import re
chrome_options = Options()
chrome_options.add_argument(’–headless’)
chrome_options.add_argument(’–disable-gpu’)
browser = webdriver.Chrome(chrome_options=chrome_options)
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36’
}
def next_url(max_behot_time):
#创建新的ajax请求url,在这段代码中可以设置ajax请求次数，否则整个代码一直运行
ajx_url = ‘