【python爬虫专项（22）】利用Selenium获取网页信息（以爬取骆驼祥子数据为例）

网页信息定位常用方法

1）定位单个元素（相当bs里面的find）
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

2）定位一组元素，返回1个list（类似bs里的find_all()）
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

示例代码：

from selenium import webdriver
import time 

start_time = time.time()
browser = webdriver.Chrome()
browser.get("https://book.douban.com/subject/1043815/")
print(browser)
print(type(browser))

title = browser.find_element_by_tag_name('h1').text
info = browser.find_element_by_id('info').text
score = browser.find_element_by_xpath('//*[@id="interest_sectl"]/div/div[2]/strong').text
comment = browser.find_element_by_xpath('//*[@id="interest_sectl"]/div/div[2]/div/div[2]/span/a').text

dic = {}
dic['书名'] = title
dic['其他信息'] = info.split('\n')
dic['评分'] = score
dic['评论人数'] = comment
print(dic)
end_time = time.time()
print("花费了{:.2f}秒".format(end_time-start_time))

输出：
{‘书名’: ‘骆驼祥子’, ‘其他信息’: [‘作者: 老舍’, ‘出版社: 人民文学出版社’, ‘出版年: 2000-3-1’, ‘页数: 224’, ‘定价: 12.00’, ‘装帧: 平装’, ‘ISBN: 9787020028115’], ‘评分’: ‘8.4’, ‘评论人数’: ‘134356人评价’}
花费了7.71秒

顺序方法（以下方法也是核心方法）

按xpath：find_element_by_xpath
按属性定位：find_element_by_id 或者 find_element_by_class_name
按照标签名定位：find_element_by_tag_name

需要采集链接时（a标签的href、img标签的src）
不建议用find_element_by_link_text（按照链接文本定位）
直接通过 核心方法 先识别a标签，然后通过get_attribute(href)获得链接

示例（骆驼祥子书籍页面）

定位元素后有哪些操作？

1）text ：返回元素文本

2）size：返回元素尺寸

3）get_attribute(name)：获得属性值

4）click()：点击按钮(非常重要)
点击进入下一个网页

5）进入下一个网页后，brower的页面会变化，可以用.current_url查看现有url

6）find_…：继续识别
这里用了find_elements_by_tag_name(‘span’)来寻找一组元素

定位单个元素

案例网址：https://book.douban.com/subject/1043815/
1） 按照id属性定位：find_element_by_id
返回匹配id属性名的 第一个元素 。如果没有元素具有匹配的类属性名，则会报错NoSuchElementException
网页中大部分情况，id是唯一的

示例

2） 按照class属性定位：find_element_by_class_name
返回匹配class属性名的 第一个元素 。如果没有元素具有匹配的类属性名，则会报错NoSuchElementException

示例

3）通过tag name定位元素：find_element_by_tag_name
返回带有给定tag name的 第一个元素 。如果没有元素具有匹配的标记名，则会报错NoSuchElementException

示例

4） 按照xpath定位 - 核心
当没有定位的元素拥有合适的id或name属性时，可以使用XPath
xpath在浏览器中右键获取

示例

5）定位多个元素
①通过属性的共同特征寻找：find_elements_by_class_name
案例网址：https://book.douban.com/subject_search?search_text=%E6%95%B0%E6%8D%AE&cat=1001
该网址用bs无法识别

示例

② 通过标签的共同特征寻找：find_elements_by_tag_name
案例网址：https://book.douban.com/tag/%E6%BC%AB%E7%94%BB?start=20&type=T

示例

③ 通过单个元素定位 + 循环迭代xpath获取一组元素
案例与②相同

示例