selenium+PhantomJS

why?

–为什么要用？
对于那些使用了 Ajax 或 DHTML 技术改变 / 加载内容的页面，需要浏览器帮助我们执行之后方能拿到数据。如果单单依靠传统爬虫的话拿到的是空数据，这时候我们可能需要用到selenium+PhantomJS。

What?

–什么是selenium？
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏；
–什么是PhantomJS？
PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript

How？
–安装selenium ： sudo pip install selenium
–下载PhantomJS：http://phantomjs.org/download.html
安装：tar -xvjf phantomjs-2.1.1-linux-x86_64.tar.bz2
sudo cp -R phantomjs-2.1.1-linux-x86_64 /usr/local/share/
sudo ln -sf /usr/local/share/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/

加载网页： selenium通过控制浏览器，所以对应的获取的数据都是elements中的内容：
from selenium import webdriver
driver = webdriver.PhantomJS(“c:…/pantomjs.exe”)
driver.get(“http://www.baidu.com/“) # 得到请求url的网页源码
driver.save_screenshot(“长城.png”) # 保存当前页面快照
定位和操作：
driver.find_element_by_id(“kw”).send_keys(“长城”)
driver.find_element_by_id(“su”).click()
查看请求信息：
driver.page_source
driver.get_cookies()
driver.current_url
退出
driver.close() #退出当前页面
driver.quit() #退出浏览器

————————————————补充——————————————
关于PhantomJS的配置问题

from selenium import webdriver
# 引入配置对象DesiredCapabilities from selenium.webdriver.common.desired_capabilities import DesiredCapabilities dcap = dict(DesiredCapabilities.PHANTOMJS)
#从USER_AGENTS列表中随机选一个浏览器头，伪装浏览器 dcap["phantomjs.page.settings.userAgent"] = (random.choice(USER_AGENTS))
# 不载入图片，爬页面速度会快很多 dcap["phantomjs.page.settings.loadImages"] = False
# 设置代理 service_args = ['--proxy=127.0.0.1:9999','--proxy-type=socks5']
#打开带配置信息的phantomJS浏览器 driver = webdriver.PhantomJS(phantomjs_driver_path, desired_capabilities=dcap,service_args=service_args)                
# 隐式等待5秒，可以自己调节 driver.implicitly_wait(5)
# 设置10秒页面超时返回，类似于requests.get()的timeout选项，driver.get()没有timeout选项
# 以前遇到过driver.get(url)一直不返回，但也不报错的问题，这时程序会卡住，设置超时选项能解决这个问题。 driver.set_page_load_timeout(10)
# 设置10秒脚本超时时间 driver.set_script_timeout(10)

有关phantomJS的并发问题
phantomJS爬数据比较慢，并发编程几乎是必选项。最初，我考虑采用多线程/协程的方式，毕竟对于这种IO密集型的程序，多线程/协程比较合适。但多次测试下来，程序却遇到各种问题，有时能成功运行，有时却不能。尝试将phantomJS改成Chrome，程序居然能正常运行，这基本确定是phantomJS的锅了。所以，如果需要并发编程提高效率，用Chrome比较好，虽然内存占用相对较多，况且经下面简友提醒，在没界面的主机上也可以跑Chrome，那自然更好了。

在网上仔细查找了相关资料，原来phantomJS本身在多线程方面还有很多bug，建议使用多进程。

关于多进程，推荐使用multiprocessing库，简洁、高效！下面几行代码便实现了多进程

from multiprocessing import Pool
pool = Pool(8)
data_list = pool.map(get, url_list)
pool.close()
pool.join()