ginynu的博客

最近这两天在写爬虫，感觉终极的解决方案还是用Selenium 模拟浏览器访问，这样省了很多麻烦。我开始用的是chrome，但发现真的不如firefox。我写了一个代理池，但问题来了，chrome调用代理总出问题，一气之下换成firefox。Selenium 原生支持firefox，所以只需要装一个firefox就能用了。from selenium.webdriver.com

错误：selenium.common.exceptions.WebDriverException: Message: Error - Unable to load Atom 'find_element' from file ':/ghostdriver/./third_party/webdriver-atoms/find_element.js'解释：因为我是用apt-get装的，估计实不完

用selenium爬网页，很多时候页面里面的有用信息其实已经加载完成了，但是由于页面加载没有彻底完成，下一步操作仍然不会执行，很耽误时间。然后很多其他文章中提到了一种方法：d.set_page_load_timeout(10)然而在我的测试下，这种方法不论是在firefox下还是在PhantomJS下，都不起作用。所以我查了一下文档，还有一种设置超时的方法：from selenium im