日常bug
文章平均质量分 64
北房有佳人
热爱编程生活的一枚小pythoner
展开
-
docker中使用selenium selenium.common.exceptions.WebDriverException: Message: unknown error: session del
解决部署在服务器上的selenium异常转载 2022-06-24 11:23:11 · 710 阅读 · 0 评论 -
Pandas读取Excel文件,存入Mysql踩坑汇总
前言 在折腾数据方面的整理分析业务,数据保存在Excel文件中,调用查看各种不方便。想着导入到Mysql数据库中。图形化操作,直观,方便,还简单。幸运的是Navicat自带了直接导入Excel文件的功能选项。麻烦的是,每次更新数据,需要手动清空旧数据重新操作一下导入流程。(后来发现,直接导入也可以,有更新替换的选项) So,操作导入Excel的流程用久了也觉得有点繁琐。(谁让我这么懒呢)想着能做一个自动化脚本,直接一键导入数据,减少操作流程。 简单的想法是:逐行读取Excel的数据,在数据库中设原创 2021-09-16 16:34:11 · 929 阅读 · 0 评论 -
程序中段使用进程池开启多任务的踩坑汇总
代码中有个循环遍历读取数据库的操作,比较耗时。想着能把这个功能用多任务去执行,过程中遇到了一些意想不到的坑,既然踩过了那肯定不能白踩(下次别再踩同样的坑)。SO!这是一篇讲述如何踩坑的心酸历程。首先,我们来梳理一下所有的坑:1. 进程结束任务,返回结果。2. 进程池的传参,传递多个参数。3. 程序中段启动进程池。 确认好了坑的位置,接下来就由我来带领大家领略一下这些坑的风采O(∩_∩)O哈哈~一号坑:进程结束任务,返回结果。 程序中原来的操作是循环遍历读取数据库,然后返回一个有效值。刚原创 2021-07-30 16:37:26 · 394 阅读 · 1 评论 -
解决re.error: bad escape \x at position xxx (line xz, column xz)异常
问题 我先把定义放在这:re.sub(pattern, repl, string, count=0, flags=0)。 出现这个问题的时候,我搜索了一下,结合我的情况:我的 pattern 是没有进行错误的转义的。可能出错的就是在 repl 里。翻看源代码:def sub(pattern, repl, string, count=0, flags=0): """Return the string obtained by replacing the leftmost non-ove转载 2021-07-23 13:55:28 · 7460 阅读 · 0 评论 -
解决redis.exceptions.ResponseError异常:Please check the Redis logs for details about the RDB error
今天要解决的问题的主要有两部分:Redis的快照持久化ERROR,还有服务器磁盘不够的异常。一,Redis的快照持久化项目用到的Redis主要是作为一个缓存队列,存储爬虫信息的进出,一直也没什么问题。今天早上,检测脚本检测出的异常信息有点多,奔着解决异常的目的,手动启动了一下采集项目。这不,就出BUG了:异常信息显示,Redis被配置为保存数据库快照,但它目前不能持久化到硬盘。用来修改集合数据的命令不能用。请查看Redis日志的详细错误信息。异常的原因是: 强制关闭Redis快照导致不能持久化。原创 2020-10-10 15:33:47 · 6974 阅读 · 0 评论 -
解决UnicodeEncodeError: 'gbk' codec can't encode character u'\xa0' in position 148
背景:由于最近公司的业务需要,对数据库中的数据进行文章分类并打上对应的标签属性。最后选择调用百度云的人工智能文本分析aip接口。百度云的文本分析接口文档如下:需要接收一个content和title字段作为文本分析。正常情况下,读取数据库content和title字段直接传入就可以了。要命的是,当初产品决定content内存入的是html文本信息,方便前端页面的展示。所以我们需要先对读取...原创 2019-05-08 14:30:35 · 13482 阅读 · 1 评论 -
解决TypeError: 'NoneType' object is not subscriptable 读取MySQL数据库问题
执行MySQL数据库迁移时遇到的新bug:bug的意思是 类型异常错误,空类型不是一个可执行的脚本。问题的原因是,读取的MySQL数据为NULL,而且还在后面的使用中,对于这个null值进行了调用。一般出现在 fetchone,fetchall,fetchmany读取MySQL语句之后,将 未确定的数据赋值,问题就出在 img_List = img_list[“name”] 。通...原创 2019-04-04 10:24:20 · 54273 阅读 · 3 评论 -
解决bson.errors.InvalidDocument: Cannot encode object: Decimal(‘8500.00‘)数据插入MongoDB问题
背景:最近公司在做一个公众号的地方展示项目,原来的数据都是直接从MySQL中直接获取的。随着数据量的增大,查询效率越来越拖拉。然后呢,就想着把MySQL中的数据迁移到MangoDB中去。任务简洁明了,读取MySQL数据批量插入MangoDB中,任务完成,美滋滋。具体的数据迁移方法可以看这篇文章: https://blog.csdn.net/mygodit/article/details/88...原创 2019-04-04 09:17:15 · 6103 阅读 · 4 评论 -
python 交互redis 的ZADD方法异常: AttributeError: ‘int‘ object has no attribute ‘items‘
背景:公司需要做一个通用的爬虫的模块,获取各个网站的有效信息,反反爬措施呢就用到了随机代理,鉴于测试的时效和方便。借用了崔大大的代理池。这里不得不赞美一下大大,代理池贼好用,功能完整,代理质量也不错,前面一直用的都是好好的,这两天想测一下58房屋的信息质量,没成想就报了个幺蛾子。具体异常如下所示:嗯哼?什么鬼啊,整数类型的对象没有items属性,来来来,走过路过不要错过,让我们去看一下到...原创 2019-01-29 14:06:12 · 18632 阅读 · 31 评论 -
关于git提交代码报错:Push to origin/master was rejected
经过一段惊心动魄的战斗之后,终于将代码改成了自己想要的样子了,此时,万事俱备只欠东风。只需要将代码git push提交一下,就能下班了,约妹子吃饭,逛街啦,美滋滋。想想还有点小激动呢。然而,现实总是残酷的。伟大主义领袖马先生说过。战斗不进行到最后一步的胜利,随时都可能失败。博弈论里也有过“一着不慎满盘皆输”。看着前人无数次惨痛的教训之后,我的push也完美的爆出了一个小bug。o(╥﹏╥)o“...原创 2018-12-07 09:28:29 · 179770 阅读 · 50 评论 -
selenium使用报错:UserWarning: Selenium support for PhantomJS has been deprecated。
今天在优化selenium效率时莫名其妙的报错了。UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox insteadwarnings.warn('Selenium support for PhantomJS has b...原创 2018-11-01 16:42:37 · 1480 阅读 · 0 评论 -
读取json文件报错:json.decoder.JSONDecodeError: Extra data: line 6 column 2 (char 1329)
读取json文件数据时,由于指定的json文件内包含多个json格式的数据,所以报错。解决方案:1、单行读取文件2、保存数据源的时候,格式写为一个对象。将多个json文件合并到一个json内即可。...原创 2018-10-30 09:37:01 · 28475 阅读 · 0 评论