python 爬虫学习之 selenium.webdriver学习

python 爬虫学习之 selenium.webdriver学习

适用：爬取动态页面数据

谷歌浏览器驱动程序下载地址：
http://chromedriver.storage.googleapis.com/index.html

1 浏览器创建

实例化一款浏览器

browser = webdriver.Chrome(executable_path=‘chromedriver.exe’)

from selenium import webdriver
 
browser = webdriver.Chrome()
browser = webdriver.Firefox() 
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

2 元素定位

	注： find_element_by_xxx找的是第一个符合条件的标签，find_elements_by_xxx找的是所有符合条件的标签。

from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys


class Douban(object):

    def __init__(self):
        self.url = 'https://accounts.douban.com/passport/login?source=book'
        #创建浏览器
        self.driver = webdriver.Chrome()

    def LogIn(self):
    	#通过浏览器向服务器发送URL请求
        self.driver.get(self.url)
        time.sleep(3)
        # 生成一张网页快照
        self.driver.save_screenshot('123.png')
        # 点击账号密码登录（通过class元素定位）
        self.driver.find_element_by_class_name('account-tab-a