了解动态渲染页面爬取--【1】

**问题：**有时候爬虫获取信息收到阻碍，因为网页有些内容并不是原HTML代码，而是JS经过计算生成的；就算有些能通过分析Ajax获取，但其Ajax接口含有很多加密参数，难以找出规律。

解决问题： 可以直接模拟浏览器的运行方式来实现，做到可见即可爬！，就不用管网页内部的JS使用了什么算法渲染，不管后台的接口有哪些参数。

库的使用： Selenium、Splash、PyV8、Ghost…

Selenium

自动化测试工具、驱动浏览器执行特定动作（点击、下拉等），还能获得当前呈现的源代码。

​ 举了一个例子，简单解释下：

"""
selenium 支持浏览器有Chrome、Firefox、Edge以及Android、BlackBerry等手机端的浏览器
"""
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()  # 先初始化
##
# 其他浏览器如下：webdriver.浏览器名称()
# webdriver.Edge()
# 接下来就是调用对象执行各种模拟操作
try:
    browser.get('https://www.baidu.com/')  # 请求页面，传入url即可
#    input = browser.find_element_by_id('kw')
#    input.send_keys('Python')
#    input.send_keys(Keys.ENTER)
#    wait = WebDriverWait(browser, 10)
#    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))
    print(browser.current_url)  # 当前的URL
    print(browser.get_cookies())  # 获得cookies
    print(browser.page_source)  # 这是当前网页的源代码
finally:
    browser.close()

还是利用下面的例子来记录吧

try:
    browser.get('https://www.taobao.com')
    print(browser.page_source)
finally:
    browser.close()

如何完成填充表单、模拟点击：

单个节点：

## 单个节点：提取搜索框节点
"""
首先要看源代码，找到输入框的标签 id='q',name='q',还有其他属性,这里就有好多中方式获取
"""
in_put1 = browser.find_element_by_id('q')
in_put2 = browser.find_element_by_css_selector('#q')
in_put3 = browser.find_element_by_xpath('//*[@id="q"]')
"""
这是三种提取方法,所得结果都是完全一致的，都是webElement类型
以下列出获取单个节点的方法
find_element_by_id
find_element_by_name
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_calss_name
find_element_by_css_selector

此外，还有一个通用的方法:
find_element(By.ID, 'q')  这样的参数更加灵活
"""   
# 因为find_element()只能返回第一个节点，无法返回所有满足条件的节点

多个节点：

使用find_elements()

使用方法和上面完全一样。

节点交互：

常见方法

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time
browser = webdriver.Chrome()  # 先初始化
# send_keys(),clear(),click()
# 利用所认识的知识已经可以模拟搜索啦！不过可能会遇到登录的问题
input1 = browser.find_element(By.XPATH, '//*[@id="q"]')  # 寻找输入框
input1.send_keys('iPhone')  # 输入框中输入iPhone
time.sleep(1)  # 延迟一秒，看得比较清楚
input1.clear()  # 清空输入框
input1.send_keys('小新pro16')  # 再次输入产品
button = browser.find_element(By.XPATH, '//button[@class="btn-search tb-bg"]')  # 寻找搜索按键
button.click()  # 模拟搜索按键点击
browser.close()

动作链：(使用书中的例子，这方面书讲的比较少，在官方文档会有更多内容)

from selenium import webdriver
from selenium.webdriver import ActionChains
browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
browser.switch_to.frame('iframeResult')  # 来到这个框架
source = browser.find_element_by_css_selector('#draggable')  # 原地方
target = browser.find_element_by_css_selector('#droppable')  # 拖动终点
actions = ActionChains(browser)  # 建立当前页面的拖动对象？
actions.drag_and_drop(source, target)  # 放入参数（拖动起点和重点）？
actions.perform()  # 进行拖动

解释switch_to.frame frame定位:

执行JavaScript:

browser.get('https://www.zhihu.com/explore')  # 访问
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')  # 滑到页面底部
browser.execute_script('alert("！！！")')  # 页面提示