selenium主要是用来做自动化测试,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题。
模拟浏览器进行网页加载,当requests,urllib无法正常获取网页内容的时候
一、声明浏览器对象
注意点一,Python文件名或者包名不要命名为selenium,会导致无法导入
1 2 3 |
from selenium import webdriver #webdriver可以认为是浏览器的驱动器,要驱动浏览器必须用到webdriver,支持多种浏览器,这里以Chrome为例 browser = webdriver.Chrome() |
二、访问页面并获取网页html
1 2 3 4 5 |
from selenium import webdriver browser = webdriver.Chrome() browser.get( 'https://www.taobao.com' ) print (browser.page_source) #browser.page_source是获取网页的全部html browser.close() |
三、查找元素
单个元素
1 2 3 4 5 6 7 8 |
from selenium import webdriver browser = webdriver.Chrome() browser.get( 'https://www.taobao.com' ) input_first = browser.find_element_by_id( 'q' ) input_second = browser.find_element_by_css_selector( '#q' ) input_third = browser.find_element_by_xpath( '//*[@id="q"]' ) print (input_first,input_second,input_third) browser.close() |
常用的查找方法
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
也可以使用通用的方法
1 2 3 4 5 6 7 |
from selenium import webdriver from selenium.webdriver.common.by import By browser = webdriver.Chrome() browser.get( 'https://www.taobao.com' ) input_first = browser.find_element(BY. ID , 'q' ) #第一个参数传入名称,第二个传入具体的参数 print (input_first) browser.close() |
多个元素,elements多个s
1 |
input_first = browser.find_elements_by_id( 'q' ) |
四、元素交互操作-搜索框传入关键词进行自动搜索
1 2 3 4 5 6 7 8 9 10 11 |
from selenium import webdriver import time browser = webdriver.Chrome() browser.get( 'https://www.taobao.com' ) </
|