爬虫
Scrapy
有人找你
菜鸟进阶之路
展开
-
Python 数据库连接池
Python 数据库连接池官方文档:https://webwareforpython.github.io/DBUtils/UsersGuide.html一. UsageThe usage of all the modules is similar, but there are also some differences in the initialization between the “Pooled” and “Persistent” variants and also between the un原创 2020-05-16 14:55:52 · 560 阅读 · 0 评论 -
Python 流式游标与缓存式(默认)游标的那些坑
Python 流式游标与缓存式游标的那些坑一. 起因本问题起源于自己在服务器大量解析图片数据。运行过程中出现错误:(2013, 'Lost connection to MySQL server during query')因为这个,我很认真的仔细的查了Mysql有关的timeout的问题:见“Mysql的timeout 以及 python重连”。最后排查自己的问题不出在connect_time(两个sql语句之间的等待时间),而在于我在不断获取下一排数据项(即调用fetchone()方法)中间原创 2020-05-19 20:24:38 · 1567 阅读 · 0 评论 -
Python 数据库连接池——PersistentDB&PooledDB对比及参数解析
Python 数据库连接池官方文档:https://webwareforpython.github.io/DBUtils/UsersGuide.html一. UsageThe usage of all the modules is similar, but there are also some differences in the initialization between the “Pooled” and “Persistent” variants and also between the un原创 2020-05-19 20:46:47 · 3750 阅读 · 0 评论 -
Mysql的timeout以及python重连
Mysql的timeout 以及 python重连一. 问题近期使用多线程对数据库操作报错:(2013, 'Lost connection to MySQL server during query')二. 解决方案1. 更改timeout参数出现这个问题顺便就了解了一下mysql中的timeout都有什么:mysql> show variables like '%timeout%';+-----------------------------+----------+| Variab原创 2020-05-19 20:26:49 · 1103 阅读 · 0 评论 -
正则表达式(python)
正则表达式(python)一. 用途简单来说,正则表达式是用来对字符串做处理的。它定义了字符串的一个“模型”,符合这个模型的字符串将被匹配/筛选二. 举例直接上语法规则比较枯燥,先用一个例子来体会一下:匹配的字符串:“hello world”正则表达式:“h…llo"("."表示任意除换行符以外的字符)匹配结果:“hello”三. 语法规则完整介绍:(图片来源:CSDN)...原创 2020-04-27 22:04:13 · 306 阅读 · 0 评论 -
服务器后台运行scrapy爬虫的everything
服务器安装爬虫一. ssh远程连接ssh root@100.100.1`在这里插入代码片`00.100之后按要求输入password即可二. 数据库(mysql)安装sudo apt-get updatesudo apt-get install mysql-servermysql配置(用户名,密码)设置sudo mysql_secure_installation配置过程会显...原创 2020-04-27 17:49:40 · 485 阅读 · 0 评论