python selenium chromedriver 实现selenium操作chrome浏览器抓取网页数据内容自动填表功能（正常运行的代码）

最新推荐文章于 2024-04-09 18:11:00 发布
最新推荐文章于 2024-04-09 18:11:00 发布
阅读量3.3k 收藏 33
点赞数 7
分类专栏： 编程经验分享 文章标签： python 经验分享 selenium chrome 软件测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_37611158/article/details/108083986
版权

摘要

最近更新时间：2020.08.20 （待更新实验部分）
本文类型：实践应用类(非知识讲解)
本文介绍selenium库和chrome浏览器实现自动抓取网页元素，并定位填写表单数据，可实现自动填写，省去大量人力。为方便使用selenium库以及方便处理运行中的错误，本文将selenium库进行一定的再封装，使读者了解selenium库后，就可快速上手编程。
一、本文知识点：1.安装selenium库，2.selenium库寻找元素的方式，3.selenium库的再封装
二、本文结构：1.先简略介绍知识点，2.按完整段的方式贴出复制后可直接运行的调试代码，方便读者调试贴出的每段代码
三、本文方法实现方式：以百度首页作为操控网页，以谷歌浏览器为实验平台，使用python+selenium进行网页操作。ps：会更新其他相应的抓取网页实验。
四、本文实验：1.后台抓取A股大盘数据（2020.09.09已更新），2.后台QQ邮箱读取最新邮件（待更新），等其他待更新实验（均提供详细代码及注释，本文末尾有对应链接）

提示：以下是本篇文章正文内容，下面案例可供参考

文章目录

一、安装selenium库及相关文件

Selenium库是python用于爬虫网站的自动化工具，支持的浏览器包括Chrome、Firefox、Safari等主流界面浏览器，同时也支持多种操作系统如Windows、Linux、IOS、Android等。

1.安装selenium库

(1)点击win10的开始菜单，直接输入cmd后右键管理员方式运行
(2)若安装python时勾选了添加路径的选项，即可直接输入命令
pip install selenium
(若没有添加，建议卸载python后，重新安装并勾选添加路径。慎重选择该建议，因为需要重新安装之前的下载的库)
(3)在网络连通下等待完成，若提示timeout，则可尝试下面命令切换下载源，重新安装：pip install selenium -i https://pypi.douban.com/simple

2.下载谷歌浏览器相关文件

本文使用的浏览器为谷歌浏览器，因此只介绍谷歌浏览器的爬虫方法，其他浏览器的方法类似。

(1)点击下载谷歌浏览器
(2)安装谷歌浏览器后，查看谷歌浏览器的版本号。点击谷歌浏览器右上角的三个点，选择–帮助–关于Google Chrome–查看版本号。
如图，本文的版本号为 84.0.4147.125
在这里插入图片描述
(3)点击下载谷歌浏览器驱动
打开下载驱动的页面，找到与版本号对应的驱动版本，本文的84.0.4147.125，因此如图寻找84.0开头的驱动，点击打开下载对应系统的驱动。然后将其解压到准备编写项目的文件夹。
不要将其放置python目录或者浏览器安装目录下，如果这样做，当移植到别的电脑时，会出现各种各样的BUG，根本原因是你电脑装了相应的库文件以及驱动，但移植的电脑未必安装。

在这里插入图片描述
在这里插入图片描述

二、selenium快速入门

1.定位元素的八种方式

(1) id
(2) name
(3) xpath
(4) link text
(5) partial link text
(6) tag name
(7) class name
(8) css selector

2. id方式

(1) 在selenium通过id定位一个元素: find_element_by_id
以百度的页面为例，其百度一下输入框部分网页源代码如下：

<html>
  <head>
  <body link="#0000cc">
    <a id="result_logo" href="/" onmousedown="return c({'fm':'tab','tab':'logo'})">
    <form id="form" class="fm" name="f" action="/s">
      <span class="soutu-btn"></span>
        <input id="kw" class="s_ipt" name="wd" value="" maxlength="255" 
        .......
        <input type="submit" value="百度一下" id="su" class="btn self-btn bg s_btn">

其中，<input id="kw" class="s_ipt" name="wd" value="" maxlength="255">为输入框的网页代码，<input type="submit" value="百度一下" id="su" class="btn self-btn bg s_btn>"为百度一下的网页代码
通过id查找元素的代码及注释如下：

import os
import sys
import time
from selenium import webdriver
##此方法获取的工作文件夹路径在py文件下或封装exe后运行都有效##
当前工作主路径 = os.path.dirname(os.path.realpath(sys.argv[0]))
##配置谷歌浏览器驱动路径##
谷歌驱动器驱动 = 当前工作主路径+"/"+"chromedriver.exe"
##初始化selenium控件##
浏览器驱动 = webdriver.Chrome(executable_path=谷歌驱动器驱动)
##打开链接,更换其他网址，请注意开头要带上http://##
浏览器驱动.get("http://www.baidu.com")
##通过id搜索清除搜索框内容##
浏览器驱动.find_element_by_id("kw").clear()
##通过id搜索输入搜索框内容##
浏览器驱动.find_element_by_id("kw").send_keys("python+selenium库 实现爬虫抓取网页数据内容并自动填表的解决方法并附已交付甲方实际稳定运行的代码")
##通过id搜索点击百度一下进行搜索##
浏览器驱动.find_element_by_id("su").click()
##保持5s时间
time.sleep(5)
###关闭退出浏览器
浏览器驱动.quit()

3. name方式

仍以百度输入框为例，在selenium通过name定位一个元素: find_element_by_name
其代码及注释如下：

import os
import sys
import time
from selenium import webdriver
##此方法获取的工作文件夹路径在py文件下或封装exe后运行都有效##
当前工作主路径 = os.path.dirname(os.path.realpath(sys.argv[0]))
##配置谷歌浏览器驱动路径##
谷歌驱动器驱动 = 当前工作主路径+"/"+"chromedriver.exe"
##初始化selenium控件##
浏览器驱动 = webdriver.Chrome(executable_path=谷歌驱动器驱动)
##打开链接,更换其他网址，请注意开头要带上http://##
浏览器驱动.get("http://www.baidu.com")
##通过name搜索清除搜索框内容##
浏览器驱动.find_element_by_name("wd").clear()
##通过name搜索输入搜索框内容##
浏览器驱动.find_element_by_name("wd").send_keys("python+selenium库 实现爬虫抓取网页数据内容并自动填表的解决方法并附已交付甲方实际稳定运行的代码")
##通过id搜索点击百度一下进行搜索##
浏览器驱动.find_element_by_id("su").click()
##保持5s时间
time.sleep(5)
###关闭退出浏览器
浏览器驱动.quit()

4. xpath方式

仍以百度输入框为例，在selenium通过xpath定位一个元素: find_element_by_xpath。不过这种方法不适合于网页中位置会变动的表格元素，因为xpath方式指向的是固定行和列，无法检测行列内容的变化。
首先在谷歌浏览器中打开百度，在空白处右键鼠标，选择检查(N)这个选择，可以进入网页的开发者模式，如图所示。然后在百度输入框上右键鼠标，再次点击检查(N)选择，可以发现右侧代码框中自动选中的部分已经变成百度输入框的代码。最后，在右侧自动选中的代码段上右键–选择copy–选择copy Xpath，百度输入框的xpath为 //*[@id="kw"]，百度一下的xpath为 //*[@id="su"]
接下来利用这个值进行百度搜索，代码及注释如下。
在这里插入图片描述
在这里插入图片描述

import os
import sys
import time
from selenium import webdriver
##此方法获取的工作文件夹路径在py文件下或封装exe后运行都有效##
当前工作主路径 = os.path.dirname(os.path.realpath(sys.argv[0]))
##配置谷歌浏览器驱动路径##
谷歌驱动器驱动 = 当前工作主路径+"/"+"chromedriver.exe"
##初始化selenium控件##
浏览器驱动 = webdriver.Chrome(executable_path=谷歌驱动器驱动)
##打开链接,更换其他网址，请注意开头要带上http://##
浏览器驱动.get("http://www.baidu.com")
##通过xpath搜索清除搜索框内容,注意单引号与双引号的混合使用##
浏览器驱动.find_element_by_xpath('//*[@id="kw"]').clear()
##通过xpath搜索输入搜索框内容,注意单引号与双引号的混合使用##
浏览器驱动.find_element_by_xpath('//*[@id="kw"]').send_keys("python+selenium库 实现爬虫抓取网页数据内容并自动填表的解决方法并附已交付甲方实际稳定运行的代码")
##通过xpath搜索点击百度一下进行搜索,注意单引号与双引号的混合使用##
浏览器驱动.find_element_by_xpath('//*[@id="su"]').click()
##保持5s时间
time.sleep(5)
###关闭退出浏览器
浏览器驱动.quit()

5. link text和partial link text方式

仍以百度首页中新闻元素为例，
通过link text定位一个元素: find_element_by_link_text
通过partial link text定位一个元素:find_element_by_partial_link_text
它们两个的区别在于：link text方式为元素text属性的全称，partial link text方式为元素text属性的部分，类似模糊搜索，如果网页元素有较多相似的text属性，建议不要使用partial link text方式。
百度首页中新闻部分的网页代码如下：

 <div id="u1">
   <a href="http://news.baidu.com" name="tj_trnews" class="mnav">新闻</a>
   <a href="http://www.hao123.com" name="tj_trhao123" class="mnav">hao123</a>
   <a href="http://map.baidu.com" name="tj_trmap" class="mnav">地图</a>
   <a href="http://v.baidu.com" name="tj_trvideo" class="mnav">视频</a>

下面利用link text的方式点击进人新闻页面，代码及其注释如下所示：

import os
import sys
import time
from selenium import webdriver
##此方法获取的工作文件夹路径在py文件下或封装exe后运行都有效##
当前工作主路径 = os.path.dirname(os.path.realpath(sys.argv[0]))
##配置谷歌浏览器驱动路径##
谷歌驱动器驱动 = 当前工作主路径+"/"+"chromedriver.exe"
##初始化selenium控件##
浏览器驱动 = webdriver.Chrome(executable_path=谷歌驱动器驱动)
##打开链接,更换其他网址，请注意开头要带上http://##
浏览器驱动.get("http://www.baidu.com")
##通过link text搜索清除搜索框内容##
浏览器驱动.find_element_by_link_text('新闻').click()
##通过partial link text搜索清除搜索框内容，请注意实际运行时，选择其中一个##
##浏览器驱动.find_element_by_partial_link_text('新').click()
##保持5s时间
time.sleep(5)
###关闭退出浏览器
浏览器驱动.quit()

6. tag name和class name方式

这两种方式不推荐使用，因为在一个网页中tag name和class name重复度太高，不容易定位，因为本文也不做深入研究。

7. css selector方式

仍以百度输入框为例，在selenium通过css selector定位一个元素: find_element_by_css_selector。由上文可知，<input id="kw" class="s_ipt" name="wd" value="" maxlength="255">为输入框的网页代码，<input type="submit" value="百度一下" id="su" class="btn self-btn bg s_btn>"为百度一下的网页代码，那么以css selector方式进行元素搜索的代码及其注释如下：

import os
import sys
import time
from selenium import webdriver
##此方法获取的工作文件夹路径在py文件下或封装exe后运行都有效##
当前工作主路径 = os.path.dirname(os.path.realpath(sys.argv[0]))
##配置谷歌浏览器驱动路径##
谷歌驱动器驱动 = 当前工作主路径+"/"+"chromedriver.exe"
##初始化selenium控件##
浏览器驱动 = webdriver.Chrome(executable_path=谷歌驱动器驱动)
##打开链接,更换其他网址，请注意开头要带上http://##
浏览器驱动.get("http://www.baidu.com")
##通过xpath搜索清除搜索框内容,注意单引号与双引号的混合使用##
浏览器驱动.find_element_by_css_selector("input[id=\"kw\"]").clear()
##通过xpath搜索输入搜索框内容,注意单引号与双引号的混合使用##
浏览器驱动.find_element_by_css_selector("input[id=\"kw\"]").send_keys("python+selenium库 实现爬虫抓取网页数据内容并自动填表的解决方法并附已交付甲方实际稳定运行的代码")
##通过xpath搜索点击百度一下进行搜索,注意单引号与双引号的混合使用##
浏览器驱动.find_element_by_css_selector("input[type=\"submit\"]").click()
##保持5s时间
time.sleep(5)
###关闭退出浏览器
浏览器驱动.quit()

三、我的简单封装

在网站中寻找的元素大多属于键入值或者点击类元素，为了方便使用，将selenium库进一步封装，部分代码如下（还将更新，具体使用方法在项目实践代码及注释中可见）：
（1）键入值类

def 网站元素值更改(self,元素名称,更改数值,方法):
        元素出现 = False
        while(元素出现 == False):
            try:
                if 方法 == "xpath":
                    self.浏览器驱动.find_element_by_xpath(元素名称).clear()
                    self.浏览器驱动.find_element_by_xpath(元素名称).send_keys(更改数值)
                if 方法 == "name":
                    self.浏览器驱动.find_element_by_name(元素名称).clear()
                    self.浏览器驱动.find_element_by_name(元素名称).send_keys(更改数值)
                元素出现 = True
            except:
                元素出现 = False
            time.sleep(0.1)

（2）点击类

def Y网站元素值点击(self,元素名称,方法):
        元素出现 = False
        循环次数 = 0
        while(元素出现 == False):
            try:
                if 方法 == "xpath":
                    self.浏览器驱动.find_element_by_xpath(元素名称).click()
                if 方法 == "text":
                    self.浏览器驱动.find_element_by_link_text(元素名称).click()
                元素出现 = True
            except: 
                元素出现 = False
            循环次数 = 循环次数+1
            time.sleep(0.1)

四、实验

1.实现后台抓取A股大盘数据传送门（已完成更新）

2.实现自动读取QQ邮箱最新邮件传送门（待更新）

呆呆熊的世界
关注
专栏目录
selenium+chromedriver获取动态网页数据以及模拟鼠标操作后才能获得的数据
huangmengfeng的博客
05-02 2064
1.下载chromedriver，记住chromedriver和chrome浏览器版本有对应关系 2.获得动态加载后的界面模拟鼠标操作，获得需要点击等特定操作后才能获得的动态加载的数据 3.源码： from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.actio...
python网页自动填写_Selenium Python 代码之打开网页自动填充内容并搜索
weixin_39639174的博客
11-30 2301
# Selenium Python 代码之打开网页自动填充内容并搜索## 流程- 1. 通过id找到文本框```inputElement.send_keys(Keys.BACK_SPACE )```- 2. 发送删除键，清除一下之前文字```inputElement.send_keys(Keys.BACK_SPACE )```- 3. 发送需要查询对内容并送个回车```inputElement =...
python自动填充网页_Python selenium chromedriver实现selenium操作，Chrome浏览器抓取网页数据内容自动填充功能（正常运行代码）,pythonselenium...
weixin_39777540的博客
12-07 1315
摘要最近更新时间：2020.08.20 (待更新实验部分)本文类型：实践应用类(非知识讲解)本文介绍selenium库和chrome浏览器实现自动抓取网页元素，并定位填写表单数据，可实现自动填写，省去大量人力。为方便使用selenium库以及方便处理运行中的错误，本文将selenium库进行一定的再封装，使读者了解selenium库后，就可快速上手编程。一、本文知识点：1.安装selenium库，...
python自动填表格_Windows下使用python3 + selenium实现网页自动填表功能
weixin_39922683的博客
11-26 1257
因为工作原因，需要将xls文件的数据录入到网上。因为数据量太多，而且以后时不时还需要用上，Ctrl+C,Ctrl+V不是长久之计。所以萌生一个想法，写一个工具，用于把xls文件的数据录入到网站上。笔者这段时间才刚刚开始了解HTML、JavaScript，很多东西都是刚刚初步有点认识。写的比较详细，如果你跟我一样，相信文章对你很有用。如果是老鸟，那就跳过吧~读写xls部分省略。要实现填写表单，需要：...
python自动填充网页_使用机械化的Python自动填充
weixin_39574928的博客
12-07 270
Could someone help me or share some code to auto fill a login with mechanize (http://wwwsearch.sourceforge.net/mechanize/)? I want to make a python script to log me into my favorite sites when I run i...
Python Selenium模拟浏览器操作详解
总结来说，Selenium是Python中进行Web自动化测试和数据抓取的重要工具，它结合了浏览器的真实交互性和Python的灵活性，使得开发者可以高效地应对复杂的网页自动化任务。通过深入理解Selenium的元素定位、操作以及...
C#操作Selenium自动化测试，采集数据实例源码。
03-05
总之，通过C#操作Selenium，我们可以创建功能强大的自动化测试脚本，同时也能实现一定的数据采集功能。不过，对于大规模和高效率的数据采集，可能需要结合其他工具和技术。学习和掌握Selenium不仅可以提升测试效率，...
基于Selenium的Python网络爬虫的实现.zip
10-16
Python作为一门广泛应用于数据处理和自动化任务的编程语言，拥有丰富的爬虫库，其中Selenium是一个功能强大的工具，尤其适用于处理动态内容和模拟用户交互。本篇文章将深入探讨如何使用Selenium来实现Python网络爬虫...
Chromedriver86.0.4240 _win32.rar
02-01
5. **自动化操作**：使用 Selenium，你可以实现各种自动化任务，如导航到URL、填表单、点击元素、检查页面内容等。例如，要打开一个网页，可以这样做： ```python driver.get('http://www.example.com') ``` 6. ...
基于Python与Selenium的网络文档下载研究.zip
10-16
在IT行业中，自动化测试和网页数据抓取是两个重要的领域，而Python和Selenium就是这两个领域的常用工具。本文将深入探讨如何结合Python编程语言和Selenium Web Driver来实现网络文档的自动化下载。以下是对这个主题...
谷歌内核浏览器自动填表插件
10-07
谷歌内核浏览器自动填表插件
Autofill 实践
com542948180的博客
12-18 8609
背景 　　公司CD Team团队执行测试时需要填写多到10来个的表单页面，如果每个表单都靠人工一个一个去输入那势必会非常的繁琐，带来非常多的工作量，而且原来的ART工具也无法在新的站点上使用，所以急需一个类似ART的工具，有自动填写表单的功能。 Autofill 介绍 　　Autofill 正是一个只需要前期简单配置，便可以辅助填写表单的Chrome 浏览器插件。 Autofill 简单原
Python+Selenium实现表单自动填充和提交
软件自动化测试技术交流、资源分享
01-03 1769
首选我们要了解Selenium 是一个强大的自动化测试工具，它可以让用户在浏览器中进行操作模拟。而 Python 是一种简洁而强大的编程语言，它可以让我们轻松编写自动化脚本。结合这两者，我们可以实现自动填充和提交表单的目标。
Selenium+Chrome Driver 爬取搜狐页面信息
最新发布
m0_68319844的博客
04-09 1576
导入了Selenium库中的webdriver模块，它包含了各种WebDriver的实现，用于模拟不同的浏览器行为。*：匹配前面的字符零次或多次，即匹配任意数量的除右尖括号之外的字符。>：匹配右尖括号，表示 HTML 标签的结束。导入了Options类，它用于配置Chrome浏览器的选项，例如设置浏览器的头less模式等。导入了By类，它定义了一些用于查找元素的方法，例如通过class name、id等。在selenium中不同的版本，语法的用法具有差异。<：匹配左尖括号，表示 HTML 标签的开始。
c语言自动填表chrome网页,教你设置Chrome浏览器里的自动填表功能
weixin_42357663的博客
05-17 1634
【IT168 应用】大家在进行网络购物或者一些网站注册时，往往需要填写收货的地址以及信用卡的支付信息，如果每次都要填写这些信息，显然会非常复杂，并且可能因为没有记住而去再次查询确认身份的信息等。通过谷歌Chrome 浏览器里的自动填充功能，我们在填写这些这些表单时，就会非常方便，这也是谷歌Chrome浏览器里的一大特色，而且在IE 浏览器和 Firefox 里也没有内置这个功能。今天我们给大家分享...
ChromeWebDriver 无头浏览器完整爬到页面的逻辑内容
hlw521hxq的博客
07-08 311
ChromeWebDriver 完整爬到页面的逻辑内容 /*配置基础选项*/ ChromeOptions options = new ChromeOptions(); /*配置页面加载策略 */ options.setPageLoadStrategy(PageLoadStrategy.EAGER); /*设置无头模式*/ options.addArguments("-headless"); /*创建驱动*
浏览器表单自动填充调研
mjzhang1993的博客
04-10 1486
自动填充保存用于登录此网站的密码，这个动作是需要用户手动确认的，如果用户没有保存则不会有，网站的这个功能主要是为了存储密码，如果是个普通表单，那么不会被浏览器记录（chrome 对设置了 name 的表单会有记录）自动填充分两种，一种是直接添加到表单中（非交互自动填充），一种是提供下拉选择（交互自动填充）firefox 中如果一个域名下只有一个账号密码记录，那么会自动添加到表单中chrome（非无痕模式） 中一个域名下无论有多少个账号密码记录，都会自动添加最近使用的到表单中。
利用selenium和chromedriver驱动浏览器爬取网页
人生苦短， 还不用Python？
08-12 616
#!/usr/bin/env python # -*- coding: utf-8 -*- from pymongo.errors import ConfigurationError from selenium import webdriver from selenium.common.exceptions import TimeoutException, WebDriverException f...
解决Chrome的表单自动填充问题
热门推荐
前端原创分享，常年坚持记录和分享，全网阅读量超百万
06-28 5万+
一般的浏览器都会默认开启一个表单自动填充的功能。这给很多用户带来了方便。但是对于项目开发者来说，有时候这就是噩梦。对安全性有考虑的项目，应该都会考虑到禁用这种自动填充的功能。否则，一个用户登录后，浏览器记住了用户名和密码。当另一个人使用这台电脑时，他肯定不用输入什么，就可以登入别人的账号，这可是很危险的事情。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

呆呆熊的世界

原创不复制精细无废料，谢谢赞赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值