python爬虫学习第五章 Selenium

5.1 Selenium_基本使用

在pyCharm中安装selenium,下载chromedriver.exe，需要与谷歌浏览器的版本对应，解压后将chromedriver.exe和代码放在同一目录下。

5.2 Selenium_元素定位

1.find_element_by_id：通过id标签值定位页面元素
2.find_element_by_name：通过name标签值定位元素
3.find_element_by_xpath：通过xpath语句来获取对象
4.find_elements_by_tag_name：通过标签名定位页面元素
5.find_element_by_css_selector：使用的bs4的语法来获取对象
6.find_element_by_link_text:使用链接文本定位,即a标签的内容
其中1、3、5用的最多

from selenium import webdriver

path = "chromedriver.exe"
browser = webdriver.Chrome(path)

url = "https://www.baidu.com"
# 获取页面内容
browser.get(url)

# 根据id来找到对象 元素定位
# button = browser.find_element_by_id('su')
# print(button)

# 通过name标签值定位元素
# button = browser.find_element_by_name('wd')
# print(button)

# 通过xpath语句来获取对象
# button = browser.find_element_by_xpath("//input[@id='su']")
# print(button)

# 根据标签的名字来获取对象
# button = browser.find_elements_by_tag_name('input')
# print(button)

# 使用的bs4的语法来获取对象
# button = browser.find_element_by_css_selector("#su")
# print(button)

# 使用链接文本定位,即a标签的内容
button =browser.find_element_by_link_text('地图')
print(button)

5.3 selenium_元素信息及其交互

获取标签的属性
.get_attribute(‘class’)
获取标签的名字
.tag_name
获取元素文本
.text

from selenium import webdriver

path = "chromedriver.exe"
browser = webdriver.Chrome(path)

url = "https://www.baidu.com"
# 获取页面内容
browser.get(url)

input = browser.find_element_by_id('su')

# 获取标签的属性
print(input.get_attribute('class'))
# 获取标签的名字
print(input.tag_name)

# 获取元素文本
a = browser.find_element_by_link_text('地图')
print(a.text)

5.4 selenium_交互

from selenium import webdriver
import time

# 创建浏览器对象
path = "chromedriver.exe"
browser = webdriver.Chrome(path)

url = "https://www.baidu.com"
# 获取页面内容
browser.get(url)

time.sleep(2)

# 获取文本框的对象
input = browser.find_element_by_id('kw')

# 在文本框中输入周杰伦
input.send_keys("周杰伦")

time.sleep(2)

# 获取百度一下的按钮
button = browser.find_element_by_id('su')

# 点击按钮
button.click()

time.sleep(2)

# 滑到底部
js_bottom = 'document.documentElement.scrollTop=100000'
browser.execute_script(js_bottom)

time.sleep(2)

#获取下一页的按钮
next = browser.find_element_by_xpath("//a[@class='n']")
# 点击下一页
next.click()
time.sleep(2)

# 回到上一页
browser.back()
time.sleep(2)

# 回去
browser.forward()
time.sleep(2)

# 退出
browser.quit()

5.5 PhantomJS

1.什么是PhamtomJS？
（1）是一个无界面的浏览器
（2）支持页面元素查找，js的执行等
（3）由于不进行css和gui渲染，运行效率要比真实的浏览器要快很多
2.使用PhantomJS的方法和使用selenium类似
3.已经停更，推荐使用headless

from selenium import webdriver
import time

path = "phantomjs.exe"
browser = webdriver.PhantomJS(path)

url = "https://www.baidu.com"
# 获取页面内容
browser.get(url)

#  生成当前页面快照并保存
# browser.save_screenshot("bd.png")

time.sleep(2)

input = browser.find_element_by_id("kw")
input.send_keys('中国')

time.sleep(3)

browser.save_screenshot('zg.png')

5.6 Chrome handless

Chrome-handless模式，Google针对Chrome浏览器59版新增加的一种模式，可以让你在不打开UI界面的情况下使用Chrome浏览器，所有运行效果与Chrome保持完美一致。

#handless的配置项
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

# path是你自己的chrome浏览器的文件路径
path = "C:\Program Files\Google\Chrome\Application\Chrome.exe"
chrome_options.binary_location = path

brower = webdriver.Chrome(chrome_options=chrome_options)

# 封装的handless
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def share_browser():
    chrome_options = Options()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')

    # path是你自己的chrome浏览器的文件路径
    path = "C:\Program Files\Google\Chrome\Application\Chrome.exe"
    chrome_options.binary_location = path

    brower = webdriver.Chrome(chrome_options=chrome_options)
    return brower

browser = share_browser()

url = "https://www.baidu.com"
browser.get(url)

browser.save_screenshot('bd2.png')