Python爬虫第7课 selenium库详解

最新推荐文章于 2024-09-06 07:16:19 发布

黎明前最后的黑暗

最新推荐文章于 2024-09-06 07:16:19 发布

阅读量410

点赞数 1

分类专栏： Python爬虫文章标签： Python爬虫 selenium

本文链接：https://blog.csdn.net/weixin_42057995/article/details/89526916

版权

本文详细介绍了selenium库，它是一个用于Web应用程序测试的工具，能模拟真实用户操作。文章涵盖selenium的基本使用，包括声明浏览器对象、访问页面、查找元素、元素交互操作、执行JavaScript、处理Frame、等待、浏览器前进后退、cookie操作、选项卡管理和异常处理等核心概念。

摘要由CSDN通过智能技术生成

selenium库详解

目标

● 什么是selenium
● selenium基本使用

01.什么是selenium

elenium [1] 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11）， Mozilla Firefox，Safari，Google Chrome，Opera等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。
在爬虫中主要用来解决JavaScript渲染的问题。
关于selenium安装：在win10系统下安装selenium

02.selenium基本使用

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()
try:
    # 传入url，访问百度
    browser.get("https://www.baidu.com")
    # 找到ID为kw的元素
    input_ = browser.find_element_by_id('kw')
    # 键入字符串
    input_.send_keys('Python')
    # 键入回车
    input_.send_keys(Keys.ENTER)
    # 等待元素被加载
    wait = WebDriverWait(browser,10)
    wait.until(EC.presence_of_element_located((By.ID,'content_left')))
    # 打印url
    print(browser.current_url)
    # 打印cookies
    print(browser.get_cookies())
    # 打印源码
    print(browser.page_source)
finally:
    browser.close()

2.1 声明浏览器对象

Python写爬虫时，主要要用selenium库的Webdriver来驱动浏览器，我们看一下他都支持哪些浏览吧！
在这里插入图片描述

from selenium import webdriver

browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()

2.2 访问页面

from selenium import webdriver
# 声明对象，打开一个Chrome浏览器
browser = webdriver.Chrome()
# 获取url
browser.get("http://www.baidu.com")
# 打印网页源码
print(browser.page_source)
# 浏览器关闭
browser.close()

运行后，会自动弹出Chrome页面然后关闭，控制台就输出了页面的源代码