python爬虫之动态网页抓取

动态网页抓取

AJAX（Asynchronouse JavaScript And XML）异步JavaScript和XML。过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页（不使用Ajax）如果需要更新内容，必须重载整个网页页面。因为传统的在传输数据格式方面，使用的是XML语法。因此叫做AJAX，其实现在数据交互基本上都是使用JSON。使用AJAX加载的数据，即使使用了JS，将数据渲染到了浏览器中，在右键->查看网页源代码还是不能看到通过ajax加载的数据，只能看到使用这个url加载的html代码。

我们有两种获取ajax数据的方式：

1. 直接分析ajax调用的接口。然后通过代码请求这个接口。
2. 使用Selenium+chromedriver模拟浏览器行为获取数据。

方式	优点	缺点
分析接口	直接可以请求到数据。不需要做一些解析工作。代码量少，性能高。	分析接口比较复杂，特别是一些通过js混淆的接口，要有一定的js功底。容易被发现是爬虫。
selenium	直接模拟浏览器的行为。浏览器能请求到的，使用selenium也能请求到。爬虫更稳定。	代码量多。性能低。

我们接下来讲解使用selenium+chromedriver获取动态数据。

1.Selenium+chromedriver获取动态数据

1.1.准备工作

Selenium相当于是一个机器人。可以模拟人在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击，填充数据，删除cookie等。chromedriver是一个驱动Chrome浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的driver：

1. Chrome：https://sites.google.com/a/chromium.org/chromedriver/downloads
2. Firefox：https://github.com/mozilla/geckodriver/releases
3. Edge：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
4. Safari：https://webkit.org/blog/6900/webdriver-support-in-safari-10/

我们这里使用Chrome来进行下面的操作。

注意，不同版本的浏览器的驱动程序不同，请根据自己的浏览器下载对应版本。

我们使用以下代码安装selenium库，

pip install selenium

1.2.打开与关闭网页

我们使用selenium模拟操作浏览器需要先实例化一个Chrome对象，使用driver.get()方法打开对应网页。使用driver.close()方法关闭当前网页，或者使用driver.quit()方法关闭浏览器。例如，我们模拟打开百度页面，等待3秒并关闭，

from selenium import webdriver
import time

driver_path = r'D:\python_class\crawl\chromedriver.exe'  # chromedriver.exe文件位置

driver = webdriver.Chrome(executable_path=driver_path)  # executable_path为chromedriver.exe文件位置
driver.get('http://www.baidu.com')  # 第一个参数为网站url
time.sleep(3)
driver.close()  # 关闭当前页面

如果不想每次都要设置executable_path参数，可以将chromedriver.exe文件放到chrome浏览器的目录下，并将该目录地址添加到系统变量中的Path中，这样我们就无需设置executable_path参数了。

1.3.读取网页源代码

我们直接使用driver.page_source即可获取网页源代码，例如，我们获取百度页面的代码，