selenium 的详细用法

最新推荐文章于 2024-06-19 22:06:35 发布

江玉郎

最新推荐文章于 2024-06-19 22:06:35 发布

阅读量2.8k

点赞数 2

文章标签： selenium

本文链接：https://blog.csdn.net/qq_39610888/article/details/81321009

版权

1 按键操作

from selenium.webdriver.common.keys import Keys
from selenium import webdriver
import time

driver = webdriver.Chrome()
driver.get('http://www.baidu.com')

time.sleep(3)
driver.find_element_by_id('kw').send_keys(u'我爱你')

time.sleep(3)
# 表示ctrl+a : 全选
driver.find_element_by_id('kw').send_keys(Keys.CONTROL, 'a')
time.sleep(3)
# 表示ctrl+x: 剪贴
driver.find_element_by_id('kw').send_keys(Keys.CONTROL, 'x')

time.sleep(3)
driver.find_element_by_id('kw').send_keys(u'我爱爱你')
driver.find_element_by_id('su').click()

time.sleep(3)
# 退出浏览器
driver.quit()

2 时间等待

selenium 由网页驱动，驱使浏览器进行操作，速度慢是一大特点，经常会出现代码执行完了，但是网页内容还没有加载完毕，里面的标签没有显示出来，如果这时候操作里面的标签，就会爆出异常， NoSuchElementException
解决办法：时间休眠，不管页面的内容有没有加载完毕，一定要休眠够指定的秒数

from selenium.webdriver.support.ui import WebDriverWait
from selenium import webdriver

driver = webdriver.Chrome()
driver.get('http://www.baidu.com')
driver.find_element_by_id('kw').send_keys(u'我爱你')
button = driver.find_element_by_id('su')

# WebDriverWait: 网页等待
#   值1： 等待的对象
#   值2： 等待的时间
# WebDriverWait 经常和 until 以及 until not 一起使用         until:直到...
# 等待直到目标标签出现
is_visible = WebDriverWait(button, 10).until(lambda x: button.is_displayed())
print(is_visible)
# 返回True
button.click()

WebDriverWait 和time.sleep() 的异同：
1 都是让程序等待指定的时间，
2 time 的时间是固定的，时间长短不会随着标签的加载速度而改变，
WebDriverWait 时间是不固定的，等待多少时间要看标签的加载时间和指定的固定时间
3 如果在指定的时间内，标签仍然没有加载出来，那么time 和WebDriverWait都会爆出异常

3 点击事件

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support.ui import WebDriverWait

driver = webdriver.Chrome()
driver.get('http://www.baidu.com')

# 三者输出的内容是一样的
logo = driver.find_element_by_xpath('//div[@id="lg"]/img')
logo2 = driver.find_element_by_class_name('index-logo-src')
logo3 = driver.find_element_by_css_selector('#lg > img')

WebDriverWait(driver, 10).until(lambda x: logo.is_displayed())
ActionChains.double_click(logo).perform()


# context.click 表示右击
action = ActionChains.context_click(logo)
# 操作事件会跑到perform 队列里面
action.perform()

# 鼠标移动
more = driver.find_element_by_class_name('bri')
WebDriverWait(driver, 10).until(lambda x: more.is_displayed())
ActionChains.move_to_element(more).perform()

4, 标签选择

这个是要解析的网页：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
    <button id="red" class="red" onclick="fun1()">按钮1</button>
    <button type="button" name="username" onclick="fun2()">按钮2</button>
    <button type="button" onclick="fun3()">按钮3</button>
    <button id="yellow" onclick="fun4()">按钮4</button>
    <script>
        function fun1(){
            document.body.style.backgroundColor = 'black'
        }
        function fun2(){
            document.body.style.backgroundColor = 'purple'
        }
        function fun3(){
            document.body.style.backgroundColor = 'pink'
        }
        function fun4(){
            document.body.style.backgroundColor = 'yellow'
        }
    </script>
</body>
</html>

标签选择的具体用法：

from selenium import webdriver
from selenium.webdriver.common.by import By
import os

driver = webdriver.Chrome()
driver.get('file:///' + os.path.abspath('4 index.html'))

# 通过标签名字来找到指定的标签
# 注意这里是elements
btns = driver.find_elements_by_tag_name('button')
btns[1].click()


# 1 通过索引来找到指定的标签
for btn in btns:
    btn.click()
    # 2 通过属性来找到特定的标签
    if btns.get_attribute('name') == 'username':
        btns.click()


# find_element_by_XXX  通过XXX来找到所有标签当中的第一个标签
# find_elements_by_XXX 通过XXX 来找到所有符合的标签
# 下面这个找到的是第一个标签名字是button的
btn = driver.find_element_by_tag_name('button').click()

# 弹出指定的元素，如果不写索引，默认是最后一个
driver.find_elements_by_css_selector('button').pop(1).click()

# [type=button]  [] 里面为限制条件，限制选择的内容

# 它是一个列表，[0] 代表的就是符合type=button的所有标签，里面的第一个元素
driver.find_elements_by_css_selector('button[type=button]')[0].click()

# 通过...来找到指定标签，相当于一个总和
driver.find_element(by=By.id, value='yellow').click()

5 window 切换

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
import time

driver = webdriver.Chrome()
driver.get('http://www.baidu.com')

# 获取当前window对象
current_window = driver.current_window_handle
print(current_window, driver.title)
# CDwindow-E5F3FC897FF4B4F7EA29CE1D42CCF738 百度一下，你就知道

time.sleep(3)
driver.find_element_by_name('tj_trnews').click()

news = WebDriverWait(driver, 10).until(lambda x: driver.find_element_by_css_selector('.hdline0 .a3'))
news.click()

all_windows = driver.window_handles

for window in all_windows:
    if window != current_window:
        time.sleep(4)
        driver.switch_to_window(window)
        # 获取百度新闻 h1 标题
        title = driver.find_element_by_xpath('//div[@class="cnt_bd"]/h1')
        WebDriverWait(title, 10).until(lambda x: title.is_displayed())
        print(title.text)

# 关闭浏览器
# driver.quit()

driver.switch_to_window(current_window)
print(driver.find_element_by_css_selector('#footer span').text)

6使用selenium简单的对淘宝信息进行爬取

这个是点击搜索按钮的HTML代码

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.action_chains import ActionChains
import time

driver = webdriver.Chrome()
driver.get('http://www.taobao.com')

driver.find_element_by_id('q').send_keys(u'辣条')
time.sleep(3)

# 下面是寻找四种‘点击搜索‘按钮的方式：

# 标签name之间有空格，只取最后一个
# driver.find_element_by_css_selector('.J_SearchPanel .tb-bg').click()

# 这个是只取， 空格前面的第一个 。也可以加载
# driver.find_element_by_css_selector('.search-panel .btn-search').click()

# 这个是根据标签的属性值来寻找，也可以执行
# driver.find_element_by_css_selector('button[data-spm-click="gostr=/tbindex;locaid=d13"]').click()

# 根据xpath也可以执行 点击按钮
driver.find_element_by_xpath('//div[@class="search-button"]/button').click()

for page in range(1, 3):
    print('正在爬取第{}页数据'.format(page))
    # 这里爬取的电脑页面，一页总共显示13行，一个屏幕最多显示两行
    for row in range(1, 13, 2):
        # x 表示把页面平均分成12份
        x = float(row) / 12
        # document : 网页
        # documentElement: 网页标签
        # scroll: 滑动
        # scrollTop: 从屏幕顶部往下滑动多少
        # 计算每次移动的js 代码片段，
        # 在Python里不能直接执行Js代码，所以将代码写成字符串形式
        # scrollTop 整个网页内从上到下可以滑动的长度
        js = 'document.documentElement.scrollTop=document.\
        documentElement.scrollHeight * {}'.format(x)
        # js = 'document.documentElement.scrollTop=document\
        .documentElement.scrollHeight * %f' % x
        driver.execute_script(js)
        time.sleep(3)
    item_list = driver.find_elements_by_class_name('J_MouserOnverReq')
    for item in item_list:
        with open('lianxi.txt', 'a', encoding='utf8') as f:
            f.write(item.text)
            f.write('\n')
    # 这个表示跳转到下一页
    driver.find_element_by_xpath('//li[@class="item next"]/a').click()

通过以上对比分析可知，虽然xpath写起来麻烦，但是是寻找数据最准确的。

江玉郎

关注

2
点赞
踩
28

收藏

觉得还不错? 一键收藏
0
评论
selenium 的详细用法

1 按键操作from selenium.webdriver.common.keys import Keysfrom selenium import webdriverimport timedriver = webdriver.Chrome()driver.get('http://www.baidu.com')time.sleep(3)driver.find_element_...
复制链接

扫一扫