Selenium框架（详解二）

最新推荐文章于 2024-04-12 15:30:36 发布

王涛涛.

最新推荐文章于 2024-04-12 15:30:36 发布

阅读量1.9k

点赞数 2

文章标签： python selenium 爬虫

本文链接：https://blog.csdn.net/WangTaoTao_/article/details/105763571

版权

8.selenium的其他使用方法

8.1 selenium标签页的切换

当selenium控制浏览器打开多个标签时，如何控制浏览器在不同的标签页中进行切换呢？需要我们做以下两步：

获取所有标签页的窗口句柄
利用窗口句柄切换到句柄指向的标签页
- 这里的窗口句柄是指：指向标签页对象的标识
具体的方法
- 1.获取当前所有的标签页的句柄构成的列表
  - current_windows = driver.window_handles
- 2.根据标签页句柄列表索引下标进行切换
  - driver.switch_to.window(current_windows[0])

from selenium import webdriver

url = 'https://jn.58.com'

driver = webdriver.Chrome(executable_path='D:\Chrome_webdriver\chromedriver.exe')
driver.get(url)
print(driver.current_url)
print(driver.window_handles)

# 定位并点击租房按钮
el = driver.find_element_by_xpath('/html/body/div[3]/div[1]/div[1]/div/div[1]/div[1]/span[1]/a')
el.click()

print(driver.current_url)
print(driver.window_handles)

# 切换句柄
driver.switch_to.window(driver.window_handles[-1])

el_list = driver.find_elements_by_xpath('/html/body/div[7]/div[2]/ul/li/div[2]/h2/a')

print(len(el_list))

8.2 selenium窗口的切换

iframe是html中常用的一种技术，即一个页面中嵌套了另一个网页，selenium默认是访问不了frame中的内容的，对应的解决思路是driver.switch_to.frame(frame_element)。接下来我们通过qq邮箱模拟登录来学习这个知识点。

模拟登录qq空间

 from selenium import webdriver

url = 'https://qzone.qq.com'

driver = webdriver.Chrome(executable_path='D:\Chrome_webdriver\chromedriver.exe')

driver.get(url)

# 切换到框架对象
driver.switch_to.frame('login_frame')

# 点击账号密码登录
driver.find_element_by_id('switcher_plogin').click()
# 输入账号
driver.find_element_by_id('u').send_keys('190018484')
# 输入密码
driver.find_element_by_id('p').send_keys('wangtaotao123.')
# 点击登录按钮
driver.find_element_by_id('login_button').click()

8.3selenium的cookies

selenium能够帮助我们处理页面中的cookie，比如获取、删除。

8.3.1获取cookie

driver.get_cookies()返回列表，其中包含的是完整的cookie信息！不光有name、value，还有domain等cookie其他维度的信息。所以如果想要把获取的cookie信息和requests模块配合使用的话，需要转换为name、value作为键值对的cookie字典

获取当前标签页的全部cookie信息
- driver.get_cookies()
删除cookie （一条）
- driver.delete_cookie(“CookieName”)
删除cookie （所有）
- driver.delete_all_cookies()

from selenium import webdriver

url = 'https://www.baidu.com'

driver = webdriver.Chrome(executable_path='D:\Chrome_webdriver\chromedriver.exe')
driver.get(url)

# print(driver.get_cookies())

cookies = {}
for data in driver.get_cookies():
    cookies[data['name']] = data['value']


print(cookies)

8.4 selenium控制浏览器执行js代码

js = ‘window.scrollTo(x,y)’ x 水平移动，y 垂直移动单位像素
driver.execute_script(js)

from selenium import webdriver

url = 'https://jn.lianjia.com'

driver = webdriver.Chrome(executable_path='D:\Chrome_webdriver\chromedriver.exe')

driver.get(url)

# 滚动条的拖动
js = 'scrollTo(0,100)'
driver.execute_script(js)

el_button = driver.find_element_by_xpath('/html/body/div[2]/ul/li/a/img').click()

8.5页面等待

页面在加载的过程中需要花费时间等待网站服务器的响应，在这个过程中标签元素有可能还没有加载出来，是不可见的。

页面等待分类

强制等待
- 其实就是time.sleep()
- 但是不够智能
隐式等待
- 隐式等待针对的是元素定位，隐式等待设置了一个小时，在一段时间内判断元素是否定位成功，如果成功了就执行下一步，在设置的时间内没有定位成功，就会报超时加载
driver.implicitly_wait(10)

from selenium import webdriver

url = 'https://www.baidu.com'

driver = webdriver.Chrome(executable_path='D:\Chrome_webdriver\chromedriver.exe')
# 设置位置之后的所有元素定位操作都有最大等待时间10秒，在10秒内会定期进行元素定位，超过设置时间后将会报错
driver.implicitly_wait(10) 
driver.get(url)

el = driver.find_element_by_xpath('//*[@id="lg"]/img[10000]')

print(el)

显示等待（主要用在软件测试的）

每经过多少秒就查看一次等待条件是否达成，如果达成就停止等待，继续执行后续代码
如果没有达到就继续等待直到超过规定时间后，报超时异常

from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

WebDriverWait(driver, 10,0.5).until( EC.presence_of_element_located((By.ID, "myDynamicElement"))
# 显式等待指定某个条件，然后设置最长等待时间10，在10秒内每隔0.5秒使用指定条件去定位元素，如果定位到元素则直接结束等待，如果在10秒结束之后仍未定位到元素则报错

8.6 selenium开启无界面模式

绝大多数浏览器是没有界面的，selenium控制台谷歌浏览器也是存在无界面模式的（又称之无头模式）

开启无界面模式的方法
- 实例化配置对象
  - options = webdriver.ChromeOptions()
- 配置对象添加开启无界面模式的命令
  - iotions.add_argument("–headless")
- 配置对象添加禁用gpu的命令
  - options.add_argument("–disable-gpu")
- 实例化带有配置对象的driver对象
  - driver = webdriver.Chrome(chrome_options=options)
注意：macos中chrome浏览器59+版本，LInux中57+版本才能使用无界面模式
参考代码如下：

from selenium import webdriver

url = 'http://www.baidu.com'

# 创建一个配置对象
option = webdriver.ChromeOptions()
# 添加配置参数
option.add_argument('--headless')
option.add_argument('--disable-gpu')
# 创建浏览器对象的时候添加配置对象
driver = webdriver.Chrome(executable_path='D:\Chrome_webdriver\chromedriver.exe',chrome_options=option)


driver.get(url)

driver.save_screenshot('baidu_option.png')

8.7 selenium使用代理ip

selenium控制浏览器也是可以使用代理ip的

使用代理ip的方法
- 实例化配置对象
  - options = webdriver.ChromeOptions()
- 配置对象添加使用代理ip的命令
  - options.add_argument("–proxy-server=http://192.168.1.1:8080")
- 实例化带有配置对象的driver对象
  - driver = webdriveer.Chrome("./chromedriver",chrome_options=options)
参考代码如下：

from selenium import webdriver

url = 'http://www.baidu.com'

# 创建一个配置对象
option = webdriver.ChromeOptions()
# 添加配置参数
# 更换ip代理必须重新启动浏览器
option.add_argument('--proxy-server=http:113.254.44.242:8382')
# 创建浏览器对象的时候添加配置对象
driver = webdriver.Chrome(executable_path='D:\Chrome_webdriver\chromedriver.exe',chrome_options=option)

driver.get(url)

8.8 selenium替换user-agent

selenium控制谷歌浏览器时，User-Agent默认是谷歌浏览器的。

替换user-agent的方法
- 实例化配置对象
  - options = webdriver.ChromeOptions()
- 配置对象添加替换UA的命令
  - options.add_argument("–user-agent=Mozilla/5.0 XIXI")
- 实例化带有配置对象的driver对象
  - driver = webdriver.Chrome("./chromedriver",chrome_options=options)
参考代码如下：

  from selenium import webdriver

url = 'http://www.baidu.com'

# 创建一个配置对象
option = webdriver.ChromeOptions()
# 添加配置参数
# 更换user-agent
option.add_argument('--user-agent=Mozilla/5.0 HAHA')
# 创建浏览器对象的时候添加配置对象
driver = webdriver.Chrome(executable_path='D:\Chrome_webdriver\chromedriver.exe',chrome_options=option)


driver.get(url)

8.9 斗鱼直播案例

思路：

1.首先来到第一页，把所有的房间列表拿到
2.然后遍历房间列表，拿到每一个房间的信息
3.然后点击下一页，重复过程，直到最后一页。找到循环终止的条件。

示例代码如下：

import time
from selenium import webdriver

class Douyu(object):

    def __init__(self):
        self.url = 'https://www.douyu.com/directory/all'

        self.driver = webdriver.Chrome(executable_path='D:\Chrome_webdriver\chromedriver.exe')


    def parse_data(self):

        room_list = self.driver.find_elements_by_xpath('//*[@id="listAll"]/section[2]/div[2]/ul/li/div')

        # print(len(room_list))
        data_list = []
        # 遍历房间列表，从每一个房间节点中获取数据
        for room in room_list:

            temp = {}
            temp['title'] = room.find_element_by_xpath('./a[1]/div[2]/div[1]/h3').text
            temp['type'] = room.find_element_by_xpath('./a[1]/div[2]/div[1]/span').text
            temp['owner'] = room.find_element_by_xpath('./a[1]/div[2]/div[2]/h2').text
            temp['num'] = room.find_element_by_xpath('./a[1]/div[2]/div[2]/span').text
            # temp['image'] = room.find_element_by_xpath('./a[1]/div[1]/div[1]/img').get_attribute('src')

            data_list.append(temp)
            # print(temp)
        return data_list

    def save_data(self,data_list):
        for data in data_list:
            print(data)

    def run(self):
        # url
        # driver对象
        # get
        self.driver.get(self.url)
        while True:
            # parse
            data_list = self.parse_data()
            # save
            self.save_data(data_list)
            # 翻页
            try:
                el_next = self.driver.find_element_by_xpath("//*[contains(text(),'下一页')]")
                print(el_next)
                # 往下拉页面
                self.driver.execute_script('scrollTo(0,100000)')
                el_next.click()
            except:
                break



if __name__ == '__main__':
    douyu = Douyu()
    douyu.run()

王涛涛.

关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
Selenium框架（详解二）

8.selenium的其他使用方法8.1 selenium标签页的切换当selenium控制浏览器打开多个标签时，如何控制浏览器在不同的标签页中进行切换呢？需要我们做以下两步：获取所有标签页的窗口句柄利用窗口句柄切换到句柄指向的标签页这里的窗口句柄是指：指向标签页对象的标识具体的方法1.获取当前所有的标签页的句柄构成的列表current_windows = driv...
复制链接

扫一扫