selenium 在爬虫中的简单使用

1. selenium 的简介

• selenium 最开始是 web 的自动化测试工具，最开始网站自动化测试开发的，selenium 可以直接运行在浏览器上，它支持所有的主流浏览器，可以接受指令让浏览器自动加载界面，获取需要的数据，甚至还可以截屏。
• Chromedriver 是一个驱动chrome 浏览器的驱动程序，使用它才可以驱动浏览器。当然，针对不同的浏览器有不同的版本的 driver。
  • Firefox：https://github.com/mozilla/geckodriver/releases
  • Chrome：https://sites.google.com/a/chromium.org/chromedriver/downloads%20-
  • Edge：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
  • Safari： https://webkit.org/blog/6900/webdriver-support-in-safari-10/
• 淘宝镜像：https://npm.taobao.org/
• 安装总结： https://www.jianshu.com/p/a383e8970135
• selenium 的安装：pip install selenium

2. selenium 的快速入门

• selenium 快速入门：https://selenium-python-zh.readthedocs.io/en/latest/getting-started.html

# 实例化浏览器
driver = webdriver.Chrome()

# 发送请求
driver.get('https://www.baidu.com')

# 退出浏览器
driver.quit()
在这里插入代码片

3. 定位元素

• find_element_by_id ： 根据 id 来查找某个元素

1. driver.find_element_by_id(‘kw’)
2. driver.find_element_by_id(‘su’)

• find_element_by_class_name : 根据类名查找元素

1. driver.find_element_by_class_name(‘s_ipt’)
2. driver.find_element_by_id(‘su’)

• find_element_by_xpath : 根据xpath语法来获取元素

1. driver.find_element_by_xpath(’//input[@id=“kw”]’)
2. driver.find_element_by_id(‘su’)

• find_element_tag_name : 根据标签名来查找元素

1. driver.find_element_by_tag_name(‘div’)
2. driver.find_element(By.TAG_NAME,‘div’)

• find_element_by_css_selector