最近的项目都是在码python多点,所以帖子也跟着来python了。。
最近爬数据的时候,发现有些动态加载网页不是很友好。看了很多的帖子说,Selenium是个好东西。不过要配合着PhantomJS用。但是,Selenium与PhantomJS分手了!今年的事。。。众多的帖子还是结合phantomJS的。人家已经不支持这种方法了。那么现在流行的是:Selenium+Handless Chrome
说白了,就是Selenium结合一个webdriver。作为一个无头浏览器,来让爬取更简单。
这里的应用场景也很大啊,我拿这个来做自动化测试。。。
import time
from selenium import webdriver
#handless chrome的使用
driver = webdriver.Chrome('driver:path') # Optional argument, if not specified will search path.
driver.get('http://www.baidu.com')
我这里使用的环境是:python3+selenium+chromedriver(对应本机chrome版本) 还有点,必须chromedriver一定要对应上浏览器的版本。具体可以看官网给出的要求。上面的位置"path" 我是放在Anaconda的Script,在把它的系统的环境放好。
我的selenium是用pip装的。 用Anaconda就用图形化找到装上就好。
pip install selenium
以上环境就大功告成。
现在尝试下好玩的。</