selenium + PhantomJS 浏览器后台抓取

PhantomJs是一个‘无头’’=浏览器，

下载地址：http://phantomjs.org/download.html

下载之后最好把bin目录设置成环境变量

他会把网站加载到内存并执行页面上的JavaScript，但是他不会向用户展示网页的图形界面（后台运行浏览器），可以处理cookie,JavaScript,header以及任何你需要做的事情

注意：

部分公司内网阉割，会报出   

urllib2.URLError:<urlopenerror [Errno 10061] >

是因为ie局域网 设置了代理

from selenium importwebdriver
import time
driver =webdriver.PhantomJS(executable_path="C:/phantomjs/bin/phantomjs")
driver.get('http://pythonscraping.com/pages/javascript/ajaxDemo.html')
time.sleep(3)
print(driver.find_element_by_id("content").text)

如果设置完环境变量不能正常调用，在定义webdriver的时候指定phantomJs的目录

你可以用webdriver的一些函数。

如果你还想是用bs4解析网页的话，可以采用pagesource函数来返回页面的源代码字符串

pageSource =driver.page_source
bsObj =BeautifulSoup(pageSource)
print(bsObj.find(id="content").get_text())