- 博客(127)
- 收藏
- 关注
RSS订阅原创 【Python】给程序的循环加一个运行定时，让它运行一个小时就停止程序
本文介绍了一个Python定时停止程序的方法 ，适用于需要控制爬取时长的场景
2025-06-11 14:19:32
86
原创 【Python】处理“Message: stale element reference: element is not attached to the page document” 的解决方法
解決seleniu爬取遇到的問題
2025-05-14 17:23:46
370
原创 解决 TypeError: unsupported operand type(s) for -: ‘NoneType‘ and ‘float‘ 错误
程序尝试对包含 None 或 NaN 值的数值进行数学运算时，会引发错误
2025-05-14 14:44:43
322
原创 【Python】字符串 转为 JSON 格式的注意事项
如果用python读取sql 里面的json内容，如果有问题，可能是引号的问题，也可能是键对值key是数值型，而非字符型的问题
2025-05-07 16:07:08
786
原创 【Python】读取excel文件的时候，遇到“Excel file format cannot be determined”的问题
解决python读取excel里，读到不存在文件的问题
2025-05-07 15:49:31
377
原创 【Python】在for循环里记录报错的次数error，如果遇到连续发生错误 X次时，则跳出循环的写法
使用一个计数器， 来记录try except里面，连续报错的次数。
2025-05-07 11:34:03
542
原创 【Python】让Selenium 像Beautifulsoup一样，用解析HTML 结构的方式提取元素！
能不能让selenium也能像Beautifulsoup一样，可以根据html的结构找到需要的部分，并解析出来?
2025-05-07 11:06:02
486
原创 Selenium的driver.get_url 和 手动输入网址, 并点击的操作，有什么不同？
跳转到目标特定的网址的时候，会被强制跳转到其他的网址上，但是如果是自己手动，在网址栏那里输入网址，并点回车，却能完成跳转。
2025-05-07 10:28:29
566
原创 selenium 打开网络页面的时候，模拟关闭弹窗的方法(汇总，全！)
在使用 Selenium 自动化测试或爬取网页时，可能会遇到弹窗，影响脚本执行，例如广告、登录提示、浏览器通知。
2025-04-30 16:25:16
460
1原创 Selenium 怎么加入代理IP，以及怎么检测爬虫运行的时候，是否用了代理IP？
使用selenium爬虫的时候，如果不加入代理IP，很容易会被网站识别，容易封号；使用代理ip的一些整理
2025-04-24 15:31:37
1238
原创 【Python】每隔一段时间自动清除网站上cookies的方法
我在写爬虫的时候，经常会因为点击浏览太多的页面，而导致很多的cookies累积。以下是解决的方法
2025-04-23 18:07:51
373
原创 no such window: target window already closed的解决方法
处理selenium爬取下的，NoSuchWindowException的方法
2025-04-17 18:03:41
270
原创 【Python】dataframe存入的sql，遇到“Incorrect string value”问题的解决方法
我在使用excel 的数据导入到Mysql数据库里面，遇到了存入的问题。改成utf-8 就好了。
2025-04-03 17:50:23
241
原创 【Python】处理Dataframe的时候 如果遇到表格第一行是首行居中，怎么能跳过首行，把第一行作为索引行？
处理dataframe的列名为标题 。或者修改dataframe的列名的方法
2025-02-12 17:54:16
552
原创 【Python】使用 selenium模拟敲键盘输入的方法汇总
我在使用selenium弄模拟登陆，需要模拟输入账号和密码，往往都使用selenium的send_keys函数。可是我昨天在写测试的时候，有时候有些网站，居然使用send_keys函数，无法在输入框里输入文字！在Python中，你可以使用多种方式来模拟键盘输入。
2025-01-17 17:24:11
1213
原创 【Python】Selenium根据网页页面长度，模拟向下滚动鼠标，直到网页底部的操作
分享几种在Python中根据页面长度模拟滚动鼠标的操作方法。
2025-01-17 17:14:32
1672
原创 【Python】使用python 对excel文件进行加密
最近在跟同事对接工作的时候，我需要把Excel文件发给对方。但是由于文件内容的私密性，需要对Excel文件进行加密，保护文件以免给第三方看到，保障数据的安全。在Python中，有多种方法可以对Excel文件进行加密。
2025-01-13 16:37:45
998
原创 【Python】selenium结合js模拟鼠标点击、拦截弹窗、鼠标悬停方法汇总（使用 execute_script 执行点击的方法）
我们在写selenium获取网络信息的时候，有时候我们会受到对方浏览器的监控，对方通过分析用户行为模式，如点击、滚动、停留时间等，网站可以识别出异常行为，进而对Selenium爬虫进行限制。这里我们可以加入JavaScript的使用。Selenium可以执行JavaScript，通过使用方法，来执行点击操作。它可以绕过一些 Selenium 直接操作元素时可能遇到的问题，比如或者需要更复杂的交互。
2024-12-31 11:09:16
1179
原创 【Python】selenium 获取滑块和背景图在电脑屏幕的相对位置【解决滑块验证码问题】
在使用python模拟爬取的时候，解决滑动验证码是不可缺少的环节。怎么解决滑动验证码的问题呢，我们可以试着使用这个方法。
2024-12-30 16:14:02
653
原创 【Python】使用匿名函数Lambda解析html源码的任意元素（Seleinium ,BeautifulSoup皆适用）
一直都发现lambda函数非常好用，它可以用简洁的方式编写小函数，无需写冗长的过程就可以获取结果。干脆利落！它允许我们定义一个匿名函数，在调用一次性的函数时非常有用。最近整理了一些，lambda函数结合或者selenium 的库，来解析HTML，并提取任意标签下的元素的方法。
2024-12-27 18:04:17
840
原创 【Python】Selenium模拟滚动鼠标的各种示例（一口气滚动到网页底部、逐步滚动、滚动到某个元素可见，按照次数滚动）
我们在使用Selenium获取网页元素的时候，有时候会遇到网页要加载刷新，要用鼠标下拉滚动鼠标更新页面，才能显示到我们需要的元素。这时候就要模拟向下拖动、下拉按钮或者滚动操作了。
2024-12-20 14:50:21
3464
原创 python 获取网页表格的方法（多种方法汇总）
我们在网页上看到很多的表格，如果要获取里面的数据或者转化成其他格式，就需要将表格获取下来并进行整理。以下是不同的方法来获取网页的表格！
2024-12-16 17:19:37
1523
原创 【Python】 使用Selenium获取网页表格的方法（find_element的方法）
有时候 ，我们在使用selenium获取网页信息的时候，如果想要获取表格，用常用的pandas 的read_html，会遇到无法绕开登录等问题，无法进入下一个页面获取表格。所以这里分享使用 Selenium的 find_element的方法获取表格！
2024-12-16 17:17:05
1396
原创 【Python】解决运行selenium调用chrome浏览器，监听端口被占用的方法
最近，我在获取网址登陆的过程中，遇到了下面的问题： “Found process 12372 - chrome.exe listening on port 10222”，下面是解决方法
2024-12-13 16:49:09
828
SQLAlchemy的安装文件，适用于python3.7版本的
2024-11-12
解决pandas和numpy版本不一致的问题（pandas 包+numpy 包）
2024-11-08
历史谷歌浏览器和对应的chromedriver文件，防浏览器自动更新影响selenium运行
2024-09-12
全国各行政区省市名称数据数据库Json格式+Python判断文本是否包含地区信息
2024-07-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人