python selenium
飞舞的羽毛
这个作者很懒,什么都没留下…
展开
-
selenium基础3-修改header、cookies等webdriver初始options
虽然ip可以使用代理,但是在爬取过程中,浏览器请求还是很容易被waf等工具识别出来,非常容易被墙,所以在使用selenium的时候,就在想,能不能在发送请求的时候像使用request一样,动态修改header。先说结论,在查阅资料以后,证明selenium不支持动态修改header请求,有些博主也给出了一些说法。github issueWebDriver lacks HTTP respon...原创 2020-02-13 00:35:58 · 9148 阅读 · 0 评论 -
selenium基础2-优缺点、三种等待方式wait和局限
最近用selenium进行采集,遇到一些麻烦,对selenium的优缺点有了更深刻的理解。先说说优点吧:可视化界面,初学容易上手。不深入理解动态加载和后端的交互也可以进行数据采集比较符合普通人操作网页进行复制粘贴的习惯缺点也很明显:加载效率低,容易造成阻塞,采集效率也就不高比较不易迁移,要适配没有界面的linux需要进行较多修改可视化的采集容易遇到浏览器问题,比较不稳健我...原创 2020-02-12 17:27:50 · 2090 阅读 · 0 评论 -
selenium基础1
selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。常用的当然是模拟Firefox和Chrome,毕竟方便调试。通过这种可视化、模仿人浏览的方式,更为简单、直观的的获取页面上的信息...原创 2019-11-27 16:02:11 · 149 阅读 · 0 评论