[转]动态网页数据抓取（一）

1.什么是AJAX?

AJAX = Asynchronous JavaScript and XML（异步的 JavaScript 和 XML）。

AJAX 不是新的编程语言，而是一种使用现有标准的新方法。

AJAX 最大的优点是在不重新加载整个页面的情况下，可以与服务器交换数据并更新部分网页内容。

AJAX 不需要任何浏览器插件，但需要用户允许JavaScript在浏览器上执行。

详细参考：http://www.runoob.com/ajax/ajax-tutorial.html

2.怎么获取ajax数据？

获取ajax数据的方式有：

（1）方式一：直接分析ajax接口的调用方式，然后通过代码请求这个接口。

（2）方式二：使用Selenium+chromedriver模拟浏览器行为获取数据。

方     式	优点	缺点
分     析        接     口	直接可以请求到数据，不需要做一些解析工作，代码量少，性能高。	分析接口比较复杂，特别是一些通过js混淆的接口，要有一定的js功底，容易被发现是爬虫。
Selenium	直接模拟浏览器的行为，浏览器能请求到的，使用Selenium也能请求到。爬虫更稳定。	代码量多，性能稳定

3. 谷歌浏览器Selenium和chromedriver的安装

Selenium：“pip install -U selenium”，selenium简介https://baike.baidu.com/item/Selenium/18266?fr=aladdin

pip install -U selenium

 

chromedriver：谷歌浏览器的driver下载地址：https://sites.google.com/a/chromium.org/chromedriver/downloads，下载完成后放到不需要权限的纯英文目录下面即可。

4. Selenium和chromedriver的简单使用

1.  
   # encoding:utf-8
2.  
    
3.  
   from selenium import webdriver
4.  
   # driver_path是chromedriver的存放地址
5.  
   driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
6.  
   driver = webdriver.Chrome(executable_path=driver_path)
7.  
   driver.get("https://www.baidu.com/")
8.  
   print driver.page_source

 

5.Selenium定位元素的方法

1.  
   # encoding:utf-8
2.  
    
3.  
   from selenium import webdriver
4.  
   from selenium.webdriver.common.by import By
5.  
   import time
6.  
    
7.  
   # driver_path是chromedriver的存放地址
8.  
   driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
9.  
   driver = webdriver.Chrome(executable_path=driver_path)
10.  
    driver.get("https://www.baidu.com/")
11.  
     
12.  
    # ============================定位元素的方法=============================
13.  
    # 1.通过id的方式获取
14.  
    # inputTag = driver.find_element_by_id('kw')
15.  
    # inputTag = driver.find_element(By.ID, 'kw') # 该方法需要添加：“from selenium.webdriver.common.by import By”
16.  
    # 2.通过name的方式获取
17.  
    # inputTag = driver.find_element_by_name('wd')
18.  
    # 3.通过class_name的方式获取
19.  
    # inputTag = driver.find_element_by_class_name('s_ipt')
20.  
    # 4.通过css选择器语法: 类名选择时，前面加点号
21.  
    # inputTag = driver.find_element_by_css_selector(".quickdelete-wrap > input")
22.  
    # 5.通过xpath语法
23.  
    inputTag = driver.find_element_by_xpath("//input[@class='s_ipt']")
24.  
     
25.  
    # 在标签里面填充字符串
26.  
    inputTag.send_keys('python')
27.  
    # 2秒以后关闭浏览器
28.  
    time.sleep(2)
29.  
    driver.quit()

 

6.Selenium操作表单元素

常见的表单元素：

（1）input type='text/password/email/number' 

（2）button input[type='submit']

（3）checkbox input=checkbox

（4）select 下拉列表

操作方法如下：

（1）对input输入框的操作：填充字符串 inputTag.send_keys('python')、清除内容 inputTag.clear()。示例代码如下：

1.  
   # encoding:utf-8
2.  
    
3.  
   from selenium import webdriver
4.  
   import time
5.  
    
6.  
   # driver_path是chromedriver的存放地址
7.  
   driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
8.  
   driver = webdriver.Chrome(executable_path=driver_path)
9.  
   driver.get("https://www.baidu.com/")
10.  
     
11.  
    # 通过id的方式获取: 以下两种方式相同
12.  
    inputTag = driver.find_element_by_id('kw')
13.  
     
14.  
    # 在标签里面填充字符串
15.  
    inputTag.send_keys('python')
16.  
    # 1秒以后清除输入框
17.  
    time.sleep(1)
18.  
    inputTag.clear()
19.  
    # 1秒以后关闭浏览器
20.  
    time.sleep(1)
21.  
    driver.quit()

 

（2）对checkbox input=checkbox的操作：inputTag.click()方法

1.  
   # encoding:utf-8
2.  
    
3.  
   from selenium import webdriver
4.  
   import time
5.  
    
6.  
   # driver_path是chromedriver的存放地址
7.  
   driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
8.  
   driver = webdriver.Chrome(executable_path=driver_path)
9.  
   driver.get("https://www.douban.com/")
10.  
     
11.  
    # 通过id的方式获取: 以下两种方式相同
12.  
    inputTag = driver.find_element_by_name('remember')
13.  
     
14.  
    # 选中checkbox
15.  
    inputTag.click()
16.  
    # 1秒以后不选中checkbox
17.  
    time.sleep(1)
18.  
    inputTag.click()
19.  
    # 1秒以后关闭浏览器
20.  
    time.sleep(1)
21.  
    driver.quit()

 

（3）select 下拉列表：先导入“from selenium.webdriver.support.ui import Select”

1.  
   # encoding:utf-8
2.  
    
3.  
   from selenium import webdriver
4.  
   from selenium.webdriver.support.ui import Select
5.  
   import time
6.  
    
7.  
   # driver_path是chromedriver的存放地址
8.  
   driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
9.  
   driver = webdriver.Chrome(executable_path=driver_path)
10.  
    driver.get("https://www.douban.com/")
11.  
     
12.  
    selectBtn = Select(driver.find_element_by_name('remember'))
13.  
    selectBtn.select_by_index(1)
14.  
    selectBtn.select_by_value("")
15.  
    selectBtn.select_by_visible_text("")
16.  
    selectBtn.deselect_all()
17.  
    # 1秒以后关闭浏览器
18.  
    time.sleep(1)
19.  
    driver.quit()

 

（4）button的点击事件：

1.  
   # encoding:utf-8
2.  
    
3.  
   from selenium import webdriver
4.  
   import time
5.  
    
6.  
   # driver_path是chromedriver的存放地址
7.  
   driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
8.  
   driver = webdriver.Chrome(executable_path=driver_path)
9.  
   driver.get("https://www.baidu.com/")
10.  
    # 模拟输入“python”
11.  
    inputTag = driver.find_element_by_id('kw')
12.  
    inputTag.send_keys("python")
13.  
    # 模拟点击“百度”
14.  
    inputBtn = driver.find_element_by_id("su")
15.  
    inputBtn.click()
16.  
     
17.  
    # 5秒以后关闭浏览器
18.  
    time.sleep(5)
19.  
    driver.quit()

 

 

7.Selenium行为链：ActionChains

class selenium.webdriver.common.action_chains.ActionChains(driver)

1.  
   # encoding:utf-8
2.  
    
3.  
   from selenium import webdriver
4.  
   from selenium.webdriver.common import action_chains
5.  
   import time
6.  
    
7.  
   # driver_path是chromedriver的存放地址
8.  
   driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
9.  
   driver = webdriver.Chrome(executable_path=driver_path)
10.  
    driver.get("https://www.baidu.com/")
11.  
     
12.  
    inputTag = driver.find_element_by_id('kw')
13.  
    inputBtn = driver.find_element_by_id("su")
14.  
     
15.  
    # action = action_chains.ActionChains(driver)
16.  
    # action.move_to_element(inputTag)
17.  
    # action.send_keys('python')
18.  
    # action.move_to_element(inputBtn)
19.  
    # action.click()
20.  
    # action.perform()
21.  
     
22.  
    # 以上语句，和下面这段代码结果一样
23.  
    action_chains.ActionChains(driver).move_to_element(inputTag).send_keys('python').move_to_element(inputBtn).click().perform()
24.  
     
25.  
    # 1秒以后关闭浏览器
26.  
    time.sleep(5)
27.  
    driver.quit()

 

另外还有：单击不放、右击、双击，语句分别是click_and_hold(on_element=None)、context_click(on_element=None)、

double_click(on_element=None)，详细内容可参考：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains。

8.Selenium操作Cookie

1.  
   # --coding:utf-8-- #
2.  
    
3.  
   from selenium import webdriver
4.  
    
5.  
   # driver_path是chromedriver的存放地址
6.  
   driver_path = r"D:\Python3\chromedriver_win32\chromedriver.exe"
7.  
   driver = webdriver.Chrome(executable_path=driver_path)
8.  
   driver.get("https://www.baidu.com/")
9.  
    
10.  
    # driver.get_cookies()获取当前网页的cookie信息
11.  
    for cookie in driver.get_cookies():
12.  
    print cookie
13.  
     
14.  
    # driver.get_cookies('PSTM')获取当前网页name="PSTM"的cookie信息
15.  
    print "="*30
16.  
    print driver.get_cookie('PSTM')
17.  
     
18.  
    # driver.delete_all_cookies()删除所有cookies信息
19.  
    driver.delete_all_cookies()
20.  
    print "="*30
21.  
    for cookie in driver.get_cookies():
22.  
    print cookie
23.  
     
24.  
    # driver.quit()

 

---------------------
作者：Jason_HHuang
来源：CSDN
原文：https://blog.csdn.net/qq_42281053/article/details/80760633
版权声明：本文为作者原创文章，转载请附上博文链接！