- 博客(10)
- 资源 (4)
- 收藏
- 关注
原创 Python 读取 csv 文件忽略引号中字段的逗号
如题,使用 Python 处理 csv 文件,之前是这么处理的:str = '飞机,火车,汽车'rel = str.split(',')> ['飞机','火车','汽车']一般情况下是正常的,但是如果在某个文本字段中带有逗号,处理就会有问题:str = “飞机,‘火车,book’,汽车"rel = str.split(',')> ['飞机','火车','book','汽...
2018-10-31 13:42:44 9994
原创 使用 SSCursor (流式游标) 解决 Python 使用 pymysql 查询大量数据导致内存使用过高的问题
Python 导数据的时候,需要在一个大表上读取很大的结果集。如果用传统的 fetchall() 或 fetchone() 方法,都是先默认在内存里缓存下所有行然后再处理,大量的数据会导致内存资源消耗光,内存容易溢出。解决的方法:使用 SSCursor (流式游标),避免客户端占用大量内存。(这个 cursor 实际上没有缓存下来任何数据,它不会读取所有所有到内存中,它的做法是从储存块中读...
2018-10-30 17:41:58 12365 1
原创 Python 中设置 MongoDB 自增字段
MongoDB 没有像 SQL 一样有自动增长的功能, MongoDB 的 _id 是系统自动生成的 12 字节唯一标识。但在某些情况下,我们可能需要实现 ObjectId 自动增长功能。由于 MongoDB 没有实现这个功能,我们可以通过编程的方式来实现,以下我们将使用 Python 在 counters 集合中实现_id字段自动增长。创建 counters 集合,序列字段值可以实现自动...
2018-10-30 10:38:17 3414
原创 Python 使用 PyMysql、DBUtils 创建连接池,提升性能
个人 Python 学习记录Python 使用 PyMysql连接数据库,DBUtils 连接池使用简单例子Python 编程中可以使用 PyMysql 进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接 MySQL 数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对 mysql 的性能会产生较大的影响。因此,实际使用中,通常会使用数据库的连接池技术,来访...
2018-10-26 13:47:11 9098
原创 如何批量删除Excel中的空单元格
如何批量删除Excel中的空单元格?Excel中数据乱七八糟,有的单元格里没有数据,怎么把这些单元格批量删掉?注意,是删掉空的单元格,不是单元格里数据里的空格。首先,选中需要进行操作的所有单元格然后按 “ Ctrl+G ” 组合键打开 “ 定位 ” 设置框。点击 “ 定位条件 ” 按钮,打开 “ 定位条件 ” 设置框。选择 “ 空值 ” ,确定。这时你会发现表格中的空单元格都被选...
2018-10-19 09:57:09 3957
原创 MongoDB 原子操作 findAndModify 记录
使用 MongoDB 的 findAndModify 命令来快速高效进行数据操作语法:db.Collections.findAndModify(query, null, null, true, null, false, false);几个参数分别为DBObject query,DBObject fields,DBObject sort,boolean remove,...
2018-10-16 16:09:51 4586 1
转载 MongoDB:count 结果不准确的原因与解决方法
教训:MongoDB 在分片后的集合上进行 db.collection.count() 操作时,出现结果不准确的现象,需要采用聚合的方法获取集合的 count 结果插入数据后,使用 Studio 3T 查看数据量时,发现显示的 count 结果与插入的数据不一致,偶然会多出几条或十几条通过谷歌发现,官方文档——( https://docs.mongodb.com/manual/refere...
2018-10-16 16:02:37 4599
原创 python3 多线程 (threading) + 锁 (Lock) + 控制线程数量 (Semaphore) 的实例
学习记录:python3 多线程 (threading ) + 锁 (Lock) + 控制线程数量 (Semaphore) 的实例import threadingimport timedef sub(num): global count lock.acquire() #上锁,第一个线程如果申请到锁,会在执行公共数据的过程中持续阻塞后续线程 ...
2018-10-15 17:51:38 7203
转载 解决 mysql 报错: Error Code: 1786 Statement violates GTID consistency: CREATE TABLE ... SELECT.
1、背景mysql 建表使用 create table as 报错 [Err] 1786 - Statement violates GTID consistency: CREATE TABLE ... SELECT. 2、错误原因这是因为在5.6及以上的版本内,开启了 enforce_gtid_consistency=true 功能导致的,MySQL官方解释说当启用 enforce...
2018-10-12 16:09:18 10672
转载 MongoDB 以字符串值长度 或 数组元素个数 为条件查询
#以字符串长度为条件在实际项目中常常会有根据字段值长度大小进行限制查询,例如查询商品名称过长或过短的商品信息,具体的实现方式可能有多种,在此记录常见的两种实现使用 $where 查询(性能稍逊一些)//查询商品名称长度大于25个字符的商品db.item.find({item_name:{$exists:true},$where:"(this.item_name.length >...
2018-10-09 14:35:22 10958
windows快速删除大文件
2020-04-14
批量修改文件名.exe
2020-04-14
CSV 快速拆分工具
2019-01-15
DataX_Python3版
2018-11-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人