利用selenium和phantomjs来实现下拉加载页面的获取

最新推荐文章于 2023-06-17 19:19:34 发布

wudajiang_

最新推荐文章于 2023-06-17 19:19:34 发布

阅读量1.8k

点赞数 1

本文链接：https://blog.csdn.net/wudajiang_/article/details/80911289

版权

前景：在爬虫中遇到过一些AJAX加载的页面，对于这种页面我们最好的解决办法就是分析他的接口，通过构造接口来请求数据，但有些网站的反爬手段比较严格的话，这个接口是不好分析的。在这里提供一种思路，就是利用selenium自动化操作模拟浏览器来获得页面信息，可以使用Chorme或者phantomjs，Chorme是基于浏览器的，因为这边需要将项目部署到服务器上，所以采用无界面浏览器phantomjs。

1.首先需要编写一个方法来获取想要获取的URL

from selenium import webdriver
import time
import re
from selenium.webdriver import DesiredCapabilities
class Get_Messge_From_Phantomjs(object):
    def <