网页信息定位常用方法
1)定位单个元素(相当bs里面的find)
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
2)定位一组元素,返回1个list(类似bs里的find_all())
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
示例代码:
from selenium import webdriver
import time
start_time = time.time()
browser = webdriver.Chrome()
browser.get("https://book.douban.com/subject/1043815/")
print(browser)
print(type(browser))
title = browser.find_element_by_tag_name('h1').text
info = browser.find_element_by_id('info').text
score = browser.find_element_by_xpath('//*[@id="interest_sectl"]/div/div[2]/strong').text
comment = browser.find_element_by_xpath('//*[@id="interest_sectl"]/div/div[2]/div/div[2]/span/a').text
dic = {}
dic['书名'] = title
dic['其他信息'] = info.split('\n')
dic['评分'] = score
dic['评论人数'] = comment
print(dic)
end_time = time.time()
print("花费了{:.2f}秒".format(end_time-start_time))
输出:
{‘书名’: ‘骆驼祥子’, ‘其他信息’: [‘作者: 老舍’, ‘出版社: 人民文学出版社’, ‘出版年: 2000-3-1’, ‘页数: 224’, ‘定价: 12.00’, ‘装帧: 平装’, ‘ISBN: 9787020028115’], ‘评分’: ‘8.4’, ‘评论人数’: ‘134356人评价’}
花费了7.71秒
顺序方法(以下方法也是核心方法)
按xpath:find_element_by_xpath
按属性定位:find_element_by_id 或者 find_element_by_class_name
按照标签名定位:find_element_by_tag_name
需要采集链接时(a标签的href、img标签的src)
不建议用find_element_by_link_text(按照链接文本定位)
直接通过 核心方法 先识别a标签,然后通过get_attribute(href)获得链接
示例(骆驼祥子书籍页面)
定位元素后有哪些操作?
1)text :返回元素文本
2)size:返回元素尺寸
3)get_attribute(name):获得属性值
4)click():点击按钮(非常重要)
点击进入下一个网页
5)进入下一个网页后,brower的页面会变化,可以用.current_url查看现有url
6)find_…:继续识别
这里用了find_elements_by_tag_name(‘span’)来寻找一组元素
定位单个元素
案例网址:https://book.douban.com/subject/1043815/
1) 按照id属性定位:find_element_by_id
返回匹配id属性名的 第一个元素 。如果没有元素具有匹配的类属性名,则会报错NoSuchElementException
网页中大部分情况,id是唯一的
示例
2) 按照class属性定位:find_element_by_class_name
返回匹配class属性名的 第一个元素 。如果没有元素具有匹配的类属性名,则会报错NoSuchElementException
示例
3)通过tag name定位元素:find_element_by_tag_name
返回带有给定tag name的 第一个元素 。如果没有元素具有匹配的标记名,则会报错NoSuchElementException
示例
4) 按照xpath定位 - 核心
当没有定位的元素拥有合适的id或name属性时,可以使用XPath
xpath在浏览器中右键获取
示例
5)定位多个元素
①通过属性的共同特征寻找:find_elements_by_class_name
案例网址:https://book.douban.com/subject_search?search_text=%E6%95%B0%E6%8D%AE&cat=1001
该网址用bs无法识别
示例
② 通过标签的共同特征寻找:find_elements_by_tag_name
案例网址:https://book.douban.com/tag/%E6%BC%AB%E7%94%BB?start=20&type=T
示例
③ 通过单个元素定位 + 循环迭代xpath获取一组元素
案例与②相同
示例