用selenium+ajax抓取数据

最新推荐文章于 2024-08-29 16:17:04 发布

wg5foc08

最新推荐文章于 2024-08-29 16:17:04 发布

阅读量3.2k

点赞数 2

本文链接：https://blog.csdn.net/wg5foc08/article/details/94436783

版权

本文介绍如何结合selenium和ajax抓取网页数据，并通过模拟浏览器加载二级网页来获取视频源代码，最后利用requests下载视频。示例代码展示了如何构建ajax请求、解析响应、模拟浏览器加载及提取视频链接并保存。

摘要由CSDN通过智能技术生成

上一篇文章只用了selenium模拟浏览器加载数据，实际上爬取网页的数据是ajax请求得到的，这次用ajax请求加载原始网页的数据，再通过浏览器模拟加载二级网页的视频，真正的视频下载可以通过构造requests请求爬取视频源代码。
#通过ajax发送请求加载网页
import requests
import json
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
import os
import re
chrome_options = Options()
chrome_options.add_argument(’–headless’)
chrome_options.add_argument(’–disable-gpu’)
browser = webdriver.Chrome(chrome_options=chrome_options)
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36’
}
def next_url(max_behot_time):
#创建新的ajax请求url,在这段代码中可以设置ajax请求次数，否则整个代码一直运行
ajx_url = ‘