python获取网页动态数据_在python使用selenium获取动态网页信息并用BeautifulSoup进行解析...

爬虫抓取数据时有些数据是动态数据，例如是用js动态加载的，使用普通的urllib2 抓取数据是找不到相关数据的，这是爬虫初学者在使用的过程中，最容易发生的情况，明明在浏览器里有相应的信息，但是在python抓取的网页中缺少了对应的信息，这通常是网页使用的是js异步加载数据，在动态显示出来。一种处理方式是找出相应的js接口，但是有时这是非常难得，因为还的分析js的调用参数，而有些参数是有加密的，还的进行解密操作；另一种出来方式是python调用浏览器，控制浏览器返回相应的信息，这也是本文要介绍的selenium 。

安装selenium

在python下安装selenium，命令：

pip install -U selenium

测试是否成功：

#!/usr/bin/python

#coding=utf-8

"""

start python 项目

"""

from selenium import webdriver

browser = webdriver.Firefox() # Get local session of firefox

browser.get("http://www.baidu.com") # Load page

print browser.page_source

虽然selenium 安装成功了，但是还是会报错：

selenium.common.exceptions.WebDriverException: Message: 'geckodriver'