python
文章平均质量分 51
devoen
一次bug,一次成长
展开
-
python tesseract selenium自动识别验证码登陆
文章目录前言一、下载安装tesserocr二、1.2.总结前言前期写得爬虫已经逐渐稳定,但是每次都是手动输入验证码,时间久了觉得麻烦,就想着自动识别验证码登陆,于是就开启了各种百度之路,磕磕碰碰,总算成功实现自动登陆,特次复盘此次验证码识别的全过程,以便大家参考。一、下载安装tesserocrtesserocr是Python的一个OCR识别库,但其实是对tesseract做的一层PythonAPI封装,所以它的核心是tesseract。所以需要先安装tesseract。下载链接:https原创 2021-01-28 18:29:35 · 921 阅读 · 0 评论 -
python selenium 删除chromedriver.exe提示被占用问题解决
python selenium 替换chromedriver.exe提示被占用问题解决今天由于谷歌浏览器莫名升级为最新版本,导致使用selenium爬虫时提示驱动chromedriver.exe与浏览器版本不一致,于是从http://npm.taobao.org/mirrors/chromedriver/88.0.4324.96/上下载了对应最新浏览器版本的驱动,打算替换旧的驱动,却提示被占用将pycharm关闭后还是不行,百度后:https://blog.csdn.net/weixin_39339原创 2021-01-28 11:24:57 · 1047 阅读 · 0 评论 -
python向oracle插入超过10万数据报错:DPI-1001: out of memory问题解决
python向oracle插入超过10万数据报错:DPI-1001: out of memory问题解决过程昨天在将爬虫数据入库时,突然报错DPI-1001: out of memory,小于10万条数据无问题,但之前并无此问题,仔细回想这中间有何差异,想到有可能是我将cx-Oracle库升级到最新版本8.1.0,于是特地将cx-Oracle删除,重新下载7.3.0版本,重新运行,顺利插入oracle数据库。感想本人习惯将库升级到最新版本,以为最新版功能更多更全,现在看来这并不是一个好习原创 2021-01-28 09:53:10 · 1812 阅读 · 1 评论 -
python selenium 通过标签文本定位
python selenium 通过标签文本定位背景今天在爬取历史数据时,需要选定特定日期,但是日期在不同行数会导致xpath路径不是递增的,是通过每7天增加1行来实现的,想要通过更改td[7]方括号里的数字来实现对应日期就不可能了,而且对于不同月份,1号所对应的星期也不一样,这就需要想办法构造或寻找其他规律来实现输入特定日期自动点击对应日期。3号://*[@id="ui-datepicker-div"]/table/tbody/tr[1]/td[7]/a10号://*[@id="ui-date原创 2021-01-21 18:06:09 · 2905 阅读 · 0 评论 -
解决python 使用time.loacltime()获取当前时间不准问题
解决python 使用time.loacltime()获取当前时间不准问题作为python小白的我,果然容易犯很多低级的错误或者说又不自觉想当然了,导致又花费了好长时间处理BUG。我在我的爬虫代码开始时记录了程序开始时间,代码如下:startTime = time.strftime("%Y-%m-%d %H:%m", time.localtime())相信大佬一眼就能看出我这段代码中存在的问题,但作为小白的我一开始对这个我对照着百度到的时间转化格式类推出来的代码自豪无比:time.strftim原创 2020-12-30 19:19:44 · 7002 阅读 · 0 评论 -
python爬虫页面按钮未加载报错selenium.common.exceptions.NoSuchElementException问题解决
python爬虫页面按钮未加载报错selenium.common.exceptions.NoSuchElementException问题解决前言在爬取公司内部网站数据时,是通过先生成下载任务,再切换至下载界面,点击下载按钮下载数据,简单来说,只是模拟人对浏览器的点击动作,进而将重复性工作自动化道路坎坷,bug出现昨天终于成功将爬取的数据插入数据库,并且在今天早上刚上班之际,发现昨天下班前还在执行的爬虫脚本完美的运行完毕,瞬间沾沾自喜,心想:“不错不错,总算可以稳定爬取数据了”,可当我喜滋滋的原创 2020-12-25 09:10:26 · 1808 阅读 · 1 评论 -
Oracle 用merge into 解决插入重复数据问题
Oracle 用merge into 解决插入重复数据问题继昨天解决用python向oralce插入数据问题,今天考虑到我插入的数据每次都是包含前一次插入的数据,太多重复值不利于之后的数据可视化,所以想着能不能插入数据的时候自动判别重复的值,只导入不重复的值,一开始用install into a where a.t not in (select t from a )结果报错,百度才知道install不能直接跟where,查询好久发现好多都指向用merge into,于是直接去搜了它的用法,感觉可行,就原创 2020-12-23 19:16:20 · 6819 阅读 · 2 评论 -
python 导入Oracle数据库报错TypeError: expecting string or bytes object解决
**python 导入Oracle数据库报错TypeError: expecting string or bytes object解决**第一次使用博客,之后打算开始记录当天python使用中学习到的新的知识点,今天在学习如何使用python将数据插入Oracle时,总是遇到ypeError: expecting string or bytes object这个错误,网上搜索了好多内容,关于这个错误的很少,之后经过各种尝试,初步猜测是导入的数据中字符类型有误,有一个博客说是空值nan的原因,于是用如下原创 2020-12-22 19:00:50 · 5158 阅读 · 0 评论