Python 笔记
lazyun
这个作者很懒,什么都没留下…
展开
-
Python3 操作 MongoDB 集合分片
因业务需要,使用 Python3 批量生成 MongoDB 集合、并对其做分片操作。 做分片之前需要登陆 Mongo 为要分片的集合所在的库授权。# 在 use 库下对 test 库进行 sharding 授权 use admin sh.enableSharding('test')Python 操作代码 import pymongo import urllib.parse mongo_client原创 2018-01-03 10:46:04 · 1756 阅读 · 0 评论 -
Python 遍历 Mysql 表中数据
需求 Mysql 表中存在几千万到几亿的数据(不存在自增主键),需要对表中数据进行遍历。 使用的是 pymysql 模块。 方案 1 使用 limit 来分块返回数据。 劣势:使用 limit 每次都需要从头扫描数据表,在数据量超过 1000w 时,性能较低。 LIMIT = 5000 def get_name(sql_client, table_name): i = 0原创 2018-01-10 19:33:50 · 11086 阅读 · 0 评论