python 爬虫基础Selenium (十五)

一、Selenium+Python环境搭建及配置

1.1 selenium 介绍

selenium 是一个 web 的自动化测试工具，不少学习功能自动化的同学开始首选 selenium ，因为它相比 QTP 有诸多有点：

• 免费，也不用再为破解 QTP 而大伤脑筋
• 小巧，对于不同的语言它只是一个包而已，而 QTP 需要下载安装1个多 G 的程序。
• 这也是最重要的一点，不管你以前更熟悉 C、 java、ruby、python、或都是 C# ，你都可以通过 selenium 完成自动化测试，而 QTP 只支持 VBS
• 支持多平台：windows、linux、MAC ，支持多浏览器：ie、ff、safari、opera、chrome
• 支持分布式测试用例的执行，可以把测试用例分布到不同的测试机器的执行，相当于分发机的功能。

官方文档：

• https://selenium-python.readthedocs.io/index.html
• https://seleniumhq.github.io/selenium/docs/api/py/api.html

1.2 selenium+Python环境配置

前提条件：已安装好Python开发环境（推荐安装Python3.5及以上版本）

安装步骤：

1. 安装selenium
   Win：pip install selenium
   Mac:pip3 install selenium
2. 安装webdriver
   各大浏览器webdriver地址可参见：https://docs.seleniumhq.org/download/
   Firefox：https://github.com/mozilla/geckodriver/releases/
   Chrome：https://sites.google.com/a/chromium.org/chromedriver/ 或者
   http://chromedriver.storage.googleapis.com/index.html
   IE：http://selenium-release.storage.googleapis.com/index.html
   注：webdriver需要和对应的浏览器版本以及selenium版本对应

Webdriver版本	支持的Chrome版本
v2.41	v67-69
v2.40	v66-68
v2.39	v66-68
v2.38	v65-67
v2.37	v64-66
v2.36	v63-65
v2.35	v62-64
v2.34	v61-63
v2.33	v60-62

1. webdriver安装路径
   Win：复制webdriver到Python安装目录下
   Mac：复制webdriver到/usr/local/bin目录下

二、元素定位及浏览器基本操作

2.1 启动浏览器

2.1.1 普通方式启动

启动Chrome浏览器：

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('http://www.baidu.com/')

启动Firefox浏览器：

from selenium import webdriver

browser = webdriver.Firefox()
browser.get('http://www.baidu.com/')

启动IE浏览器：

from selenium import webdriver

browser = webdriver.Ie()
browser.get('http://www.baidu.com/')

2.1.2 Headless方式启动

Headless Chrome 是 Chrome 浏览器的无界面形态，可以在不打开浏览器的前提下，使用所有 Chrome 支持的特性运行你的程序。相比于现代浏览器，Headless Chrome 更加方便测试 web 应用，获得网站的截图，做爬虫抓取信息等。相比于较早的 PhantomJS，SlimerJS 等，Headless Chrome 则更加贴近浏览器环境。

Headless Chrome 对Chrome版本要求：
官方文档中介绍，mac和linux环境要求chrome版本是59+，而windows版本的chrome要求是60+，同时chromedriver要求2.30+版本。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
chrome_options.add_argument('--headless') //增加无界面选项
chrome_options.add_argument('--disable-gpu') //如果不加这个选项，有时定位会出现问题

# 启动浏览器，获取网页源代码
browser = webdriver.Chrome(chrome_options=chrome_options)
mainUrl = "https://www.taobao.com/"
browser.get(mainUrl)
print(f"browser text = {browser.page_source}")
browser.quit()

2.1.3 加载配置启动浏览器

Selenium操作浏览器是不加载任何配置的，下面是关于加载Chrome配置的方法：

用Chrome地址栏输入chrome://version/，查看自己的“个人资料路径”，然后在浏览器启动时，调用这个配置文件，代码如下：

#coding=utf-8
from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_argument('--user-data-dir=C:\Users\Administrator\AppData\Local\Google\Chrome\User Data') #设置成用户自己的数据目录
driver=webdriver.Chrome(chrome_options=option)

而加载Firefox配置的方法有些不同：

打开Firefox点右上角设置>？（帮助）>故障排除信息>显示文件夹，打开后把路径复制下来就可以了

# coding=utf-8
from selenium import webdriver
# 配置文件地址
profile_directory = r'C:\Users\xxx\AppData\Roaming\Mozilla\Firefox\Profiles\1x41j9of.default'
# 加载配置配置
profile = webdriver.FirefoxProfile(profile_directory)
# 启动浏览器配置
driver = webdriver.Firefox(profile)

---

2.2 元素定位

对象的定位应该是自动化测试的核心，要想操作一个对象，首先应该识别这个对象。一个对象就是一个人一样，他会有各种的特征（属性），如比我们可以通过一个人的身份证号，姓名，或者他住在哪个街道、楼层、门牌找到这个人。那么一个对象也有类似的属性，我们可以通过这个属性找到这对象。

webdriver 提供了一系列的对象定位方法，常用的有以下几种：

• id定位：find_element_by_id()
• name定位：find_element_by_name()
• class定位：find_element_by_class_name()
• link定位：find_element_by_link_text()
• partial link定位：find_element_by_partial_link_text()
• tag定位：find_element_by_tag_name()
• xpath定位：find_element_by_xpath()
• css定位：find_element_by_css_selector()

#coding=utf-8
from selenium import webdriver
browser=webdriver.Firefox()
browser.get("http://www.baidu.com")
#########百度输入框的定位方式##########
#通过id方式定位
browser.find_element_by_id("kw").send_keys("selenium")
#通过name方式定位
browser.find_element_by_name("wd&