1.什么是AJAX?
AJAX = Asynchronous JavaScript and XML(异步的 JavaScript 和 XML)。
AJAX 不是新的编程语言,而是一种使用现有标准的新方法。
AJAX 最大的优点是在不重新加载整个页面的情况下,可以与服务器交换数据并更新部分网页内容。
AJAX 不需要任何浏览器插件,但需要用户允许JavaScript在浏览器上执行。
详细参考:http://www.runoob.com/ajax/ajax-tutorial.html
2.怎么获取ajax数据?
获取ajax数据的方式有:
(1)方式一:直接分析ajax接口的调用方式,然后通过代码请求这个接口。
(2)方式二:使用Selenium+chromedriver模拟浏览器行为获取数据。
方 式 | 优点 | 缺点 |
分 析 接 口 | 直接可以请求到数据,不需要做一些解析工作,代码量少,性能高。 | 分析接口比较复杂,特别是一些通过js混淆的接口,要有一定的js功底,容易被发现是爬虫。 |
Selenium | 直接模拟浏览器的行为,浏览器能请求到的,使用Selenium也能请求到。爬虫更稳定。 | 代码量多,性能稳定 |
3. 谷歌浏览器Selenium和chromedriver的安装
Selenium:“pip install -U selenium”,selenium简介https://baike.baidu.com/item/Selenium/18266?fr=aladdin
pip install -U selenium
chromedriver:谷歌浏览器的driver下载地址:https://sites.google.com/a/chromium.org/chromedriver/downloads,下载完成后放到不需要权限的纯英文目录下面即可。
4. Selenium和chromedriver的简单使用
# encoding:utf-8
from selenium import webdriver
# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.baidu.com/")
print driver.page_source
5.Selenium定位元素的方法
# encoding:utf-8
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.baidu.com/")
# ============================定位元素的方法=============================
# 1.通过id的方式获取
# inputTag = driver.find_element_by_id('kw')
# inputTag = driver.find_element(By.ID, 'kw') # 该方法需要添加:“from selenium.webdriver.common.by import By”
# 2.通过name的方式获取
# inputTag = driver.find_element_by_name('wd')
# 3.通过class_name的方式获取
# inputTag = driver.find_element_by_class_name('s_ipt')
# 4.通过css选择器语法: 类名选择时,前面加点号
# inputTag = driver.find_element_by_css_selector(".quickdelete-wrap > input")
# 5.通过xpath语法
inputTag = driver.find_element_by_xpath("//input[@class='s_ipt']")
# 在标签里面填充字符串
inputTag.send_keys('python')
# 2秒以后关闭浏览器
time.sleep(2)
driver.quit()
6.Selenium操作表单元素
(2)button input[type='submit']
(3)checkbox input=checkbox
(4)select 下拉列表
操作方法如下:
(1)对input输入框的操作:填充字符串 inputTag.send_keys('python')、清除内容 inputTag.clear()。示例代码如下:
# encoding:utf-8
from selenium import webdriver
import time
# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.baidu.com/")
# 通过id的方式获取: 以下两种方式相同
inputTag = driver.find_element_by_id('kw')
# 在标签里面填充字符串
inputTag.send_keys('python')
# 1秒以后清除输入框
time.sleep(1)
inputTag.clear()
# 1秒以后关闭浏览器
time.sleep(1)
driver.quit()
(2)对checkbox input=checkbox的操作:inputTag.click()方法
# encoding:utf-8
from selenium import webdriver
import time
# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.douban.com/")
# 通过id的方式获取: 以下两种方式相同
inputTag = driver.find_element_by_name('remember')
# 选中checkbox
inputTag.click()
# 1秒以后不选中checkbox
time.sleep(1)
inputTag.click()
# 1秒以后关闭浏览器
time.sleep(1)
driver.quit()
(3)select 下拉列表:先导入“from selenium.webdriver.support.ui import Select”
# encoding:utf-8
from selenium import webdriver
from selenium.webdriver.support.ui import Select
import time
# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.douban.com/")
selectBtn = Select(driver.find_element_by_name('remember'))
selectBtn.select_by_index(1)
selectBtn.select_by_value("")
selectBtn.select_by_visible_text("")
selectBtn.deselect_all()
# 1秒以后关闭浏览器
time.sleep(1)
driver.quit()
(4)button的点击事件:
# encoding:utf-8
from selenium import webdriver
import time
# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.baidu.com/")
# 模拟输入“python”
inputTag = driver.find_element_by_id('kw')
inputTag.send_keys("python")
# 模拟点击“百度”
inputBtn = driver.find_element_by_id("su")
inputBtn.click()
# 5秒以后关闭浏览器
time.sleep(5)
driver.quit()
7.Selenium行为链:ActionChains
class selenium.webdriver.common.action_chains.
ActionChains
(driver)
# encoding:utf-8
from selenium import webdriver
from selenium.webdriver.common import action_chains
import time
# driver_path是chromedriver的存放地址
driver_path = r"D:\Python2.7\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.baidu.com/")
inputTag = driver.find_element_by_id('kw')
inputBtn = driver.find_element_by_id("su")
# action = action_chains.ActionChains(driver)
# action.move_to_element(inputTag)
# action.send_keys('python')
# action.move_to_element(inputBtn)
# action.click()
# action.perform()
# 以上语句,和下面这段代码结果一样
action_chains.ActionChains(driver).move_to_element(inputTag).send_keys('python').move_to_element(inputBtn).click().perform()
# 1秒以后关闭浏览器
time.sleep(5)
driver.quit()
另外还有:单击不放、右击、双击,语句分别是click_and_hold
(on_element=None)、context_click
(on_element=None)、
double_click
(on_element=None),详细内容可参考:http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains。
8.Selenium操作Cookie
# --coding:utf-8-- #
from selenium import webdriver
# driver_path是chromedriver的存放地址
driver_path = r"D:\Python3\chromedriver_win32\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path)
driver.get("https://www.baidu.com/")
# driver.get_cookies()获取当前网页的cookie信息
for cookie in driver.get_cookies():
print cookie
# driver.get_cookies('PSTM')获取当前网页name="PSTM"的cookie信息
print "="*30
print driver.get_cookie('PSTM')
# driver.delete_all_cookies()删除所有cookies信息
driver.delete_all_cookies()
print "="*30
for cookie in driver.get_cookies():
print cookie
# driver.quit()