【Python_Selenium学习笔记（三）】基于Selenium模块实现无界面模式 & 执行JS脚本(把滚动条拉到底部)

最新推荐文章于 2024-04-27 09:31:29 发布
最新推荐文章于 2024-04-27 09:31:29 发布
阅读量2.9k 收藏 13
点赞数 1
分类专栏： Python学习笔记 # Selenium学习笔记 文章标签： python selenium 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sallyyellow/article/details/129987818
版权

基于Selenium模块实现无界面模式 & 执行JS脚本(把滚动条拉到底部)

前言

此篇文章主要介绍如何使用 Selenium 模块实现 无界面模式 & 执行JS脚本(把滚动条拉到底部)，并以具体的示例进行展示。

正文

1、Selenium 设置无界面模式

  1. 创建浏览器对象之前，创建 options 功能对象 ：options = webdriver.ChromeOptions()
  2. 添加无界面功能参数：options.add_argument("--headless")
  3. 构造浏览器对象，打开浏览器，并设置 options 参数：browser = webdriver.Chrome(options=options)
from selenium import webdriver

options = webdriver.ChromeOptions()  # 创建浏览器对象之前，创建options功能对象
options.add_argument("--headless")  # 添加无界面功能参数
browser = webdriver.Chrome(options=options)  # 构造浏览器对象，打开浏览器

2、Selenium 执行JS脚本

  1. 创建浏览器对象：browser = webdriver.Chrome()
  2. 执行JS脚本：browser.execute_script()
  3. 最常用脚本 - 把滚动条拉到底部：browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
from selenium import webdriver

browser = webdriver.Chrome() # 创建浏览器对象
browser.execute_script(
    'window.scrollTo(0,document.body.scrollHeight)'
) # 把滚动条拉到最底部

3、Selenium 设置无界面模式 & 执行JS脚本 案例

3.1 需求分析

基于 Selenium + Chrome 抓取 `http://www.jd.com/` 下 “python书籍” 的信息

3.2 爬虫思路

  1. 打开浏览器输入主页地址：https://www.jd.com/
  2. 使用 Selenium 的 Xpath 找到 信息输入框 和 点击搜索 节点：'//*[@id="key"]' & '//*[@id="search"]/div/div[2]/button'
    在这里插入图片描述
    在这里插入图片描述
  3. 输入 “python书籍” 并点击 点击搜索按钮；
  4. 使用 Selenium 的 Xpath 找到 书籍信息 节点对象列表： '//*[@id="J_goodsList"]/ul/li'； 在这里插入图片描述
  5. 依次遍历每个元素，并依次提取每本书籍信息；
  6. 爬取完一页信息后，需要判断是否是最后一页
    在这里插入图片描述
    在这里插入图片描述
    可以看到：
    最后一页的节点信息为：pn-next disabled
    非最后一页的节点信息为：pn-next
  7. 如果不是最后一页，点击下一页继续进行爬取：'//*[@id="J_bottomPage"]/span[1]/a[9]'
    在这里插入图片描述

3.3 程序实现

  1. 初始化函数
    def __init__(self):
        # 设置为无界面
        self.options = webdriver.ChromeOptions()  # 创建浏览器对象之前，创建options功能对象
        self.options.add_argument('--headless')  # 添加无界面功能参数
        self.driver = webdriver.Chrome(options=self.options)  # 构造浏览器对象，打开浏览器
        self.driver.get(url="http://www.jd.com/")  # 进入主页
        # 搜索框发送：python书籍，点击搜索按钮
        self.inputJD = self.driver.find_element(By.XPATH, '//*[@id="key"]')  # 搜索框xpath://*[@id="key"]
        self.inputJD.send_keys("python书籍")
        self.driver.find_element(By.XPATH,
                                 '//*[@id="search"]/div/div[2]/button').click()  # 搜索按钮xpath：//*[@id="search"]/div/div[2]/button 并点击
        time.sleep(1)  # 要给页面元素加载预留时间
  1. 提取数据函数
    def parse_html(self):
        """
        function:  具体提取数据方法
              in:  None
             out:  None
          return:  None
          others:  Data Extraction Func
        """
        self.driver.execute_script(
            'window.scrollTo(0,document.body.scrollHeight)'
        )  # 先把滚动条拉到最底部，等待所有商品加载完成再进行数据爬取
        time.sleep(3)  # 给页面元素加载预留时间
        # 具体提取数据
        li_list = self.driver.find_elements(By.XPATH,
                                            '//*[@id="J_goodsList"]/ul/li')  # 基准xpath：//*[@id="J_goodsList"]/ul/li 每一个商品对应一个li节点
        item = {}  # 定义一个空字典
        for li in li_list:
            item["名称"] = li.find_element(By.XPATH, './/div[@class="p-name"]/a/em').text.strip()
            item["价格"] = li.find_element(By.XPATH, './/div[@class="p-price"]/strong').text.strip()
            item["评价"] = li.find_element(By.XPATH, './/div[@class="p-commit"]/strong').text.strip()
            item["商家"] = li.find_element(By.XPATH, './/div[@class="p-shopnum"]').text.strip()
            print(item)  # 打印
  1. 程序入口函数
    def run(self):
        """
        function:  程序入口函数
              in:  None
             out:  None
          return:  None
          others:  Program Entry Func
        """
        while True:
            self.parse_html()
            # 不是最后一页：pn-next
            # 最后一页：pn-next disabled
            if self.driver.page_source.find("pn-next disabled") == -1:  # 没有找到 pn-next disabled，说明不是最后一页
                self.driver.find_element(By.XPATH, '//*[@id="J_bottomPage"]/span[1]/a[9]').click()
                time.sleep(1)
            else:
                self.driver.quit()
                break

3.4 完整代码

import time
from selenium import webdriver
from selenium.webdriver.common.by import By


class JDSpider:
    def __init__(self):
        # 设置为无界面
        self.options = webdriver.ChromeOptions()  # 创建浏览器对象之前，创建options功能对象
        self.options.add_argument('--headless')  # 添加无界面功能参数
        self.driver = webdriver.Chrome(options=self.options)  # 构造浏览器对象，打开浏览器
        self.driver.get(url="http://www.jd.com/")  # 进入主页
        # 搜索框发送：python书籍，点击搜索按钮
        self.inputJD = self.driver.find_element(By.XPATH, '//*[@id="key"]')  # 搜索框xpath://*[@id="key"]
        self.inputJD.send_keys("python书籍")
        self.driver.find_element(By.XPATH,
                                 '//*[@id="search"]/div/div[2]/button').click()  # 搜索按钮xpath：//*[@id="search"]/div/div[2]/button 并点击
        time.sleep(1)  # 要给页面元素加载预留时间

    def parse_html(self):
        """
        function:  具体提取数据方法
              in:  None
             out:  None
          return:  None
          others:  Data Extraction Func
        """
        self.driver.execute_script(
            'window.scrollTo(0,document.body.scrollHeight)'
        )  # 先把滚动条拉到最底部，等待所有商品加载完成再进行数据爬取
        time.sleep(3)  # 给页面元素加载预留时间
        # 具体提取数据
        li_list = self.driver.find_elements(By.XPATH,
                                            '//*[@id="J_goodsList"]/ul/li')  # 基准xpath：//*[@id="J_goodsList"]/ul/li 每一个商品对应一个li节点
        item = {}  # 定义一个空字典
        for li in li_list:
            item["名称"] = li.find_element(By.XPATH, './/div[@class="p-name"]/a/em').text.strip()
            item["价格"] = li.find_element(By.XPATH, './/div[@class="p-price"]/strong').text.strip()
            item["评价"] = li.find_element(By.XPATH, './/div[@class="p-commit"]/strong').text.strip()
            item["商家"] = li.find_element(By.XPATH, './/div[@class="p-shopnum"]').text.strip()
            print(item)  # 打印

    def run(self):
        """
        function:  程序入口函数
              in:  None
             out:  None
          return:  None
          others:  Program Entry Func
        """
        while True:
            self.parse_html()
            # 不是最后一页：pn-next
            # 最后一页：pn-next disabled
            if self.driver.page_source.find("pn-next disabled") == -1:  # 没有找到 pn-next disabled，说明不是最后一页
                self.driver.find_element(By.XPATH, '//*[@id="J_bottomPage"]/span[1]/a[9]').click()
                time.sleep(1)
            else:
                self.driver.quit()
                break


if __name__ == '__main__':
    spider = JDSpider()
    spider.run()

3.5 实现效果

在这里插入图片描述

禾戊之昂
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Selenium基础 — Selenium操作浏览器窗口滚动条
crhnb的博客
06-12 4995
1、为什么操作滚动条2、Selenium如何操作滚动条Selenium的WebDriver类库中并没有直接提供对滚动条进行操作方法，但是Selenium提供了可调用JavaScript脚本的方法，所以我们可以通过JavaScript脚本来达到操作滚动条的目的。JavaScript学习文档：http://www.w3school.com.cn/js/js_intro.asp3、Selenium操作滚动条方法注：1000不代表一定到最底层，要根据浏览器页面的实际大小。
python中selenium操作下拉滚动条的几种方法汇总
01-01
UI自动化中经常会遇到元素识别不到，找不到的问题，原因有很多，比如不在iframe里，xpath或id写错了等等；但有一种是在当前显示的页面元素不可见，拖动下拉条后元素就出来了。 比如下面这样一个网页，需要进行拖动下...
python爬取动态加载页面,selenium实现滚动到底
weixin_43453421的博客
09-20 4676
python爬取动态加载页面,selenium实现滚动到底
Python中selenium的玩法，小朋友看了都说学会了_为什么selenium函数需要自己方法
最新发布
2401_84139587的博客
04-27 1694
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接调用浏览器，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。我们可以使用selenium很容易完成之前编写的爬虫，接下来我们就来看一下selenium的运行效果chrome浏览器的运行效果在下载好chromedriver以及安装好selenium模块后，执行下列代码并观察运行的过程​。
selenium打开网页并下拉到网页底部的方法
weixin_44204641的博客
10-18 5052
driver.execute_script(js) # 模拟鼠标滚轮，滑动页面至底部。driver = webdriver.Chrome() #以谷歌浏览器驱动为例。这样就可以把网页下拉到底部，主要用于获取某些网页下面的页码，利于获取元素并点击。driver.get(url) #按网址获取网页。
Selenium之操作下拉滚动条方法
weixin_44117248的博客
03-17 2539
定义Js字符串 js = "window.scrollTo(0,1000)"# 动态执行滑倒底部 document.body.scrollHeight。执行Js字符串 driver.execute_script(js)1).暂停2s，控制滚动条滑动到页面最底部。打开注册A.html页面，完成以下操作。2).暂停2s，点击返回顶部按钮。# js -> 向下。
技巧 | Python selenium滑块滑动至浏览器底部(顶部)
热门推荐
Python当打之年
10-18 1万+
文章目录滑动至顶部滑动至低部方法一方法二方法三示例推荐阅读 大家好，我是 ????【Python当打之年】 本期给大家介绍三种** selenium滑块滑动至浏览器底部(顶部) **的方法，希望对你有所帮助。 滑动至顶部 driver.execute_script("var q=document.documentElement.scrollTop=0") 滑动至低部 方法一 逐步滑动(可以看到滑动效果) for i in range(10): driver.execute_script(f'd
python_selenium_page_object_example:Python Selenium PageObject模式实现
05-07
Python Selenium PageObject模式实现 在自动化测试领域，Selenium是一个广泛应用的工具，它允许开发者用各种编程语言（如Python）来控制浏览器的行为。PageObject模式是Selenium测试中的一种最佳实践，它帮助我们...
SELENIUM 2 自动化测试实战 基于PYTHON语言-虫师_python自动测试_selenium2_python_自动
10-04
**Selenium 2 自动化测试实战：基于Python语言** Selenium 2 是一个强大的开源自动化测试工具，它允许开发者编写脚本以模拟用户在浏览器中的各种操作，从而实现对Web应用的功能验证和性能测试。Python作为其支持的...
Python Selenium实现无可视化界面过程解析
09-16
主要介绍了Python Selenium实现无可视化界面过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
用selenium爬猎聘职位列表_猎聘_爬虫_python_selenium_
09-29
本案例主要探讨如何使用Python的Selenium库来爬取猎聘网站的职位列表，这对于数据分析、人才招聘研究或个人求职者了解市场动态都有很大帮助。由于常规的HTTP请求库如requests无法处理动态加载的内容，Selenium成为了...
Python selenium无界面headless
java1234的博客
10-29 1761
Chrome-headless 模式， Google 针对 Chrome 浏览器 59版 新增加的一种模式，可以让你不打开UI界面的情况下使用 Chrome 浏览器，所以运行效果与 Chrome 保持完美一致，因此速度快与要打开界面的selenium，其使用方法和selenium一样。
爬虫之selenium开启无界面模式
IT之一小佬的博客
01-21 7338
爬虫之selenium开启无界面模式 绝大多数服务器是没有界面的，selenium控制谷歌浏览器也是存在无界面模式的，这一小节我们就来学习如何开启无界面模式（又称之为无头模式） 开启无界面模式的方法 实例化配置对象 options = webdriver.ChromeOptions() 配置对象添加开启无界面模式的命令 options.add_argument("--headless") 配置对象添加禁用gpu的命令 options.add_argument("--
selenium之滚动鼠标滑动页面
weixin_48323589的博客
06-27 8867
在selenium中，我们可以通过execute_script执行js语句实现页面滑动。
python爬虫之selenium下拉滚动示例
naer_chongya的博客
06-06 5281
我们进入到一个无限滚动的新闻网站，对于这种网站的话，我们需要在模拟下拉滚动之前，先将页面初始化时加载完全，以避免页面加载速度影响我们的实验结果。模拟下拉滚动时，每次我们将页面向下滑动，之后等待2秒，再获取当前页面的高度，如果当前页面的高度与上一次得到的高度相同，那么说明已经滑动到了页面底部，那么我们就可以退出滚动操作的循环了。这个时候，我们需要获取页面的高度，并且模拟一个下拉操作，使得页面可以继续向下加载新的数据。首先，我们需要明确，在许多网站的滚动页面加载新的内容的时候，是需要进行下拉操作的。
python用selenium拖动滚动条到懒加载网页的最底部
`Steven的博客
01-25 1026
有的网页是拖到最底部就自动加载出了，有的是还需要点击“加载更多”之类的按钮，这时再加一步点击按钮就可以了。python用selenium拖动滚动条到懒加载网页的最底部。
基于Selenium模块实现无界面模式 & 执行JS脚本
qq_492448446的博客
08-09 1282
基于Selenium模块实现无界面模式 & 执行JS脚本
python爬虫学习笔记3
qq_42765393的博客
02-02 3875
【1、selenium】 1、什么是selenium？ (1) Selenium是一个用于Web应用程序测试的工具 (2) Selenium测试直接运行在浏览器中，就像真正的用户在操作一样 (3) 支持通过各种driver(FirfoxDriver,IternetExplorerDriver,OperaDriver,ChromeDriver)驱动真实浏览器完成测试 (4) selenium也是支持无界面浏览器操作的。 2、为什么使用selenium? 模拟浏览器功能，自动执行网页中的js代码，实现动态加载
python测试脚本截图_Python+selenium实现截图图片并保存截取的图片
05-31
好的，这是一个很好的问题。以下是使用Python和Selenium实现截图图片并保存截取的图片的测试脚本： ```python from selenium import webdriver # 创建一个Chrome浏览器实例 driver = webdriver.Chrome() # 访问要截屏的网页 driver.get("https://www.baidu.com") # 最大化窗口 driver.maximize_window() # 截取当前网页，并保存图片 driver.save_screenshot("screenshot.png") # 关闭浏览器 driver.quit() ``` 这个测试脚本使用Selenium库来控制Chrome浏览器，并访问了百度网页。接着，它最大化了浏览器窗口，使用 `driver.save_screenshot()` 方法截取了当前网页，并将截图保存为 "screenshot.png" 文件。最后，脚本关闭了浏览器。 你可以根据需要修改访问的网页和保存截图的文件名。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

禾戊之昂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值