爬虫
老司儿
这个作者很懒,什么都没留下…
展开
-
Phantomjs性能优化
写过爬虫的朋友应该都用过一个无头浏览器–phantomjs,使用它的原因很简单明了:能够高度模拟浏览器访问(对抗反爬虫),无头浏览(可以节省性能)。Phantomjs应用最广泛的应该还是用来执行js代码,比如写一个js脚本,利用phantomjs去执行,可以写一个页面截图、网页性能测试等等功能的。 phantomjs也是爬虫界的一大神器,我最初使用它就是用来爬取一些动态加载的网页,效果俱佳。当然...原创 2018-03-28 11:32:12 · 4162 阅读 · 0 评论 -
Python爬虫利器之selenium有无界面
selenium通过模拟浏览器完成一些操作,但是在一些服务器上是没有图形界面的,自然使用selenium操作需要在无界面操作。有界面操纵from selenium import webdriverdriver = webdriver.Chrome()driver.get("http://baidu.com")driver.quit()无界面操纵#python3from selenium i...转载 2018-03-28 17:07:59 · 380 阅读 · 0 评论