Python 在 phantomjs + selenium 添加代理

最新推荐文章于 2024-07-28 00:12:28 发布

空山kooshine

最新推荐文章于 2024-07-28 00:12:28 发布

阅读量2.8k

点赞数

分类专栏： Python 从入门到放弃

本文链接：https://blog.csdn.net/aysa_bear/article/details/80436711

版权

本文介绍了如何在Python中结合phantomjs和selenium框架，实现网页爬虫过程中添加代理服务器，以提高爬取效率并降低被目标网站封禁的风险。详细步骤包括设置代理配置、初始化phantomjs浏览器以及使用selenium进行网页操作。

摘要由CSDN通过智能技术生成

 
 概述： 

 
 网上有很多文章讲phantomjs+selenium如何添加代理IP的文章，但是亲自试了多个，均不可用。因为我用的是经过认证的代理，网上好多只提供了没有认证的代理IP的办法。而且还有说需要修改phantomjs或selenium源码的，我认为这种办法的可移植性太差。弄了两天多，还是没有办法，后来把问题发到了论坛里，有人给了下边的链接，在linux下只打印出来html空架子，但是看楼主是解决了的，于是认为是哪里出错了，后来又各种百度，偶然看到说Windows下没问题，linux下打印为空，于是我把代码放到Windows下执行，果然可以。 