[Python] 用 Docker + Python + Selenium 抓取(1)，程序员如何应对中年危机

bicycle_page_message_2 = driver.find_element(By.XPATH, '//p[@id="sum_milage"]').get_attribute('textContent')

要获取元素的文本，请使用 find_element() 方法创建目标元素的对象并调用 get_attribute() 方法。

另外，好像可以用.text获取文本，但是在属性中指定隐藏时好像不能获取（display:none等），所以get_attribute()方法可以获取我认为无论属性的文本都很好。

在输入元素中输入一个值

在图像的红框处输入①和②中的值是一个过程。

摘抄

# 入力したい値を変数に格納 MILAGE = 38.38 ELEVATION = 218 # ①の処理 # 走行距離を入力するinputタグ要素を取得 input_milage = driver.find_element(By.XPATH, '//*[@id="input_milage"]') # 入力内容をクリア(何も入力されていないけど念のため) input_milage.clear() # 入力内容をセット input_milage.send_keys(MILAGE) # ②の処理 # 獲得標高を入力するinputタグ要素を取得し、値を入力 input_elevation = driver.find_element(By.XPATH, '//*[@id="input_elevation"]') input_elevation.clear() input_elevation.send_keys(ELEVATION)

①和②都在做同样的过程。

要将值输入到输入元素，请使用 find_element() 方法创建目标元素的对象，调用 send_keys() 方法，将要输入的值传递给参数，然后执行以输入值。

如果在输入元素中设置了值，则通过clear()方法提前清除该值，但我认为即使在未输入值的元素中也这样做以防止错误更安全。

在下拉菜单中选择一个项目

从图片红框中③的下拉菜单中选择一个项目的过程。

摘抄

# 必要なライブラリのimport from selenium.webdriver.support.select import Select # 入力したい値を変数に格納 WEATHER = ['晴れ', '曇り', '雨'] # ドロップダウン要素を取得する dropdown = driver.find_element(By.XPATH, '//*[@id="select_weather"]') # ドロップダウン要素からSelectオブジェクトを作成する select_weather = Select(dropdown) # ドロップダウンの値を表示されているテキストを選択して記入する select_weather.select_by_visible_text(WEATHER[0])

要使用下拉元素选择一个值，请从库中导入 Select 类并创建一个 Select 实例。

有多种方法可以在 Select 实例中选择一个值，但这次我按照下拉菜单项中显示的文本指定的方式对其进行编码。

如果将要选择的菜单文本传递给 Select 类中提供的 select_by_visible_text() 方法，则该项目将被选中。

其他方法请参考本站（Selenium API (reverse lookup) … 使用目的可以搜索Selenium API … 使用目的可以搜索Selenium API")）。

单击警报“确定”按钮

这是一个让Alert对象显示在屏幕上并点击“确定”按钮的过程。

我无法截图，所以没有图像。

摘抄

from selenium.webdriver.common.alert import Alert # データが送信されalert表示のための最大待ち時間 alert_wait = WebDriverWait(driver, 10) alert_wait.until(EC.alert_is_present()) # アラートのokをクリックする処理 Alert(driver).accept()

从库中导入 Alert 类。

创建Alert实例时传递driver对象，执行accept()方法完成点击OK按钮。

另外，对于等待Alert显示在屏幕上的过程，使用alert_is_present()方法来检查Alert的显示情况。

指定最长等待时间并停止处理

等待页内处理时可以使用的一种方法，例如等待页面中的元素加载或Alert 显示。

摘抄

from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC wait = WebDriverWait(driver, 5) wait.until(EC.visibility_of_element_located((By.XPATH, '//p[@id="sum_milage"]')))

首先，从库中导入 WebDriverWait 和 expected_conditions。

将 expected_conditions 设置为 EC 似乎是 Selenium 的方式。

创建一个 WebDriverWait 实例并创建一个等待对象。此时，在第二个参数中指定处理完成之前的“最大”等待时间。

然后检查对象的 until() 方法是否处于所需状态。

在until() 方法的参数中，描述expected_conditions 方法中XPath 指定的元素的预期行为。

这次使用visibility_of_element_located()方法来检查是否显示了指定的元素。

如果可以确认 XPath 指定的元素显示在屏幕上，则 until() 方法正常结束并进入下一个过程。

如果在创建 WebDriverWait 实例时指定的最大等待时间超过指定的元素仍未显示在屏幕上，则将返回 Exception。

* 与标准库time的sleep()的区别在于，如果可以确认处理完成，则无需等待最大时间就移动到下一个处理。

重新加载页面

摘抄

driver.refresh()

要重新加载页面，请使用驱动程序对象的 refresh() 方法。

尝试运行

========

运行代码以查看该过程是否确实有效。

首先，让我们在终端上检查一下。

root@9f672ec558d8:/work# python3 docker_selenium.py Connect remote browser... remote browser connected... current URL: https://xxxxxxxx.herokuapp.com/ current URL: https://xxxxxxxx.herokuapp.com/bicycle_contents Max 5 secound wait... bicycle_page_message_2 before: 今月は 2036.59 km 走っています。 input dialog open... 3 secound wait... Input button click... Max 10 secound wait... alert ok button click... reload page... Max 5 secound wait... bicycle_page_message_2 after: 今月は 2074.97 km 走っています。 Connection stop...

里程在bike_page_message_2前后变化。

其他处理似乎没有问题。

接下来，让我们检查一下执行前后数据库（MySQL）表中的数据。

执行前

MySQL

| 12044 | 2021-10-29 | 22.75 | 318 | 71 | 224 | | 12054 | 2021-10-29 | 22.27 | 173 | 71 | 224 | +-------+---------------------+--------+-----------+------------+-----------+ 1197 rows in set (9.14 sec) mysql>

执行后

MySQL

| 12044 | 2021-10-29 | 22.75 | 318 | 71 | 224 | | 12054 | 2021-10-29 | 22.27 | 173 | 71 | 224 | | 12064 | 2021-10-30 | 38.38 | 218 | 71 | 224 | +-------+---------------------+--------+-----------+------------+-----------+ 1198 rows in set (9.16 sec) mysql>

行数增加了 1，并添加了新的日期数据。

您可以通过点击发送按钮确认数据已发送并反映在表格中。

最后，在屏幕上检查它。

确认红框内蓝色字母p元素的数据更新。

确认页面重载过程正常，可以获取新的文本数据。

综上所述

========

或许这次我可以试试，就可以覆盖Selenium的爬取和测试的基本部分。

我不知道它是否会作为文章上传，但我认为会应用测试时鼠标悬停的处理和UI检查的视频拍摄，但我认为它可以应用。

谢谢你的拜访。

参考站点

========

创建爬虫必不可少！

XPATH 表示法摘要XPath 表示法的详细描述。

这在指定元素时非常有用。谢谢。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

-blog.csdnimg.cn/img_convert/252731a671c1fb70aad5355a2c5eeff0.png)

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。