Selenium爬虫实践：ajax请求抓包、浏览器退出

Selenium爬虫实践：ajax请求抓包、浏览器退出

2022-04-07 16:00·软件测试木木

前言

　　最近在搞公司内部系统，累的一批，需要从另一个内部系统导出数据存到数据库做分析，有大量的数据采集工作，又没办法去直接拿到那个系统的接口，太难了，只能爬虫，但是cookie还经常失效，为了不每次登录失效就来找我重新注入Cookie，我写了一个手机版的网页，用来控制后台的selenium自动登录，截取token和cookie。

　　ajax请求抓包方案

　　搜索资料的过程真的痛苦，不过还好这时间没有白花，最终还是解决了问题……

　　根据找到的资料，有以下几种方法可以在Selenium中抓取ajax请求中的数据。

　　·使用本地代理：browsermob-proxy

　　· 使用selenium的执行js功能注