python-selenium的使用

下载浏览器驱动程序：http://chromedriver.storage.googleapis.com/index.html，找到与谷歌版本号类似的去尝试即可

常用方法

浏览器创建
Selenium支持非常多的浏览器，如Chrome、Firefox、Edge等.另外，也支持无界面浏览器。

from selenium import webdriver  
browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

元素定位：
find_element_by_name() 
find_element_by_class_name()
find_element_by_tag_name()
find_element_by_link_text() 
find_element_by_xpath()
find_element_by_css_selector()

前进后退
browser.back()
browser.forward()

鼠标操作
from selenium.webdriver import ActionChains
from selenium import webdriver
from time import sleep
bro = webdriver.Chrome(executable_path='./chromedriver')
bro.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
sleep(1)
#注意：如果定位的标签是存在于iframe表示的子页面中，则常规的标签定位报错
#处理：使用如下指定操作
bro.switch_to.frame('iframeResult')
div_tag = bro.find_element_by_id('draggable')

#实例化一个动作链对象且将该对象绑定到指定的浏览器中
action = ActionChains(bro)
action.click_and_hold(div_tag) #对指定标签实现点击且长按操作
for i in range(5):
    action.move_by_offset(10,10).perform() #perform让动作链立即执行
    sleep(0.5)
sleep(3)
bro.quit()

执行js
对于某些操作，Selenium API并没有提供。比如，下拉进度条，它可以直接模拟运行JavaScript，此时使用execute_script()方法即可实现。

from selenium import webdriver
from time import sleep
bro = webdriver.Chrome('./chromedriver')
bro.get('https://www.jd.com/')
#js注入
bro.execute_script('document.documentElement.scrollTo(0,2000)')

使用selenium解析数据

from selenium import webdriver
import time
from lxml import etree
bro = webdriver.Chrome(executable_path='./chromedriver')
url = 'http://scxk.nmpa.go****v.cn:81/xk/'
bro.get(url=url)
time.sleep(1)
#获取页面源码数据(page_source)
page_text = bro.page_source

#将前5页的页面源码数据存储到该列表中
all_page_text_list = [page_text]
for i in range(4):
    #点击下一页
    next_page_btn = bro.find_element_by_xpath('//*[@id="pageIto_next"]')
    next_page_btn.click()
    time.sleep(1)
    all_page_text_list.append(bro.page_source)

for page_text in all_page_text_list:
    #解析数据
    tree = etree.HTML(page_text)
    li_list = tree.xpath('//*[@id="gzlist"]/li')
    for li in li_list:
        title = li.xpath('./dl/@title')[0]
        print(title)