数据库
Feng_MuJin
往事一笔勾销,余生各自安好!
展开
-
Python MySQL利用load data infile加载大文件入表
有时候我们需要将大量数据批量写入数据库,直接使用程序语言和Sql写入往往很耗时间,其中有一种方案就是使用MySql Load datainfile导入文件的形式导入数据,这样可大大缩短数据导入时间。假如是从MySql客户端调用,将客户端的文件导入,则需要使用 load local data infile.LOAD DATA INFILE 语句以很高的速度从一个文本文件中读取行到一个表中。文件名必须是一个文字字符串。1,开启load local data infile.假如是Linux下编译安装.原创 2020-12-16 10:30:07 · 2723 阅读 · 1 评论 -
Python Rides 封装---作为队列 / 缓存调用
import redisclass RedisQueue(object): """封装redis,支持list和str型""" def __init__(self, name): # redis的默认参数为:host='localhost', port=6379, db=0, 其中db为定义redis database的数量 self.pool = redis.ConnectionPool(host='localhost', password="123原创 2020-12-15 11:28:48 · 948 阅读 · 0 评论 -
MySQL 单表十亿级别数据量设计和优化
MySQL 单表十亿级别数据量设计和优化需求分析设计思路表结构设计SQL优化需求分析每天定时4000千万条数据入表(采用load data infile 加载文件入表),保存6个月数据,估算单表总数据量70亿左右。表中有18个字段。每天定时建立两个分区。查询需用到开始时间startTime和结束时间stopTime字段。设计思路1.数据库设计和表创建时就要考虑性能选择合适的数据类型使用可存下数据的最小的数据类型,整型 < date,time < char,varchar <原创 2020-12-15 10:57:02 · 10255 阅读 · 2 评论 -
Python 实现Mysql数据库连接池
版权声明:本文转自 https://blog.csdn.net/zbc1090549839/article/details/51336458python Mysql数据库:python编程中可以使用MySQLdb进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接mysql数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对mysql的性能会产生较大的影响...转载 2018-12-05 17:27:00 · 912 阅读 · 0 评论 -
MongoDB教程(五)--- 与python交互
点击查看官方文档 http://api.mongodb.com/python/current/tutorial.html 安装python包sudo pip install pymongo引入包pymongofrom pymongo import *MongoClient对象使用init方法创建连接对象client = MongoClient('主机ip',端口)...原创 2018-12-05 15:34:49 · 850 阅读 · 0 评论 -
MongoDB教程(四)--- 聚合&索引&备份&恢复
聚合 aggregate聚合(aggregate)主要用于计算数据,类似sql中的sum()、avg() 语法 db.集合名称.aggregate([ {管道 : {表达式}} ]) 管道 管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的输入 ps aux | grep mongod 在mongodb中,管道具有同样的作用,文档...原创 2018-12-05 15:32:00 · 991 阅读 · 0 评论 -
MongoDB教程(三)--- 数据查询
数据查询1. 基本查询 方法find():查询全部符合条件数据 db.集合名称.find({条件文档}) > db.stu.find({age:18}){ "_id" : ObjectId("591b49c29f8ac621f995c911"), "name" : "黄蓉", "hometown" : "桃花岛", "age" : 1原创 2018-12-05 15:25:58 · 977 阅读 · 0 评论 -
MongoDB教程(二)--- mongodb 基本操作
MongoDB的使用mongod:mongo 是启动MongoDB shell客户端的命令mongod 是启动MongoDB数据库服务的命令,主要提供了三种启动方式:1. 命令行方式直接启动MongoDB默认的存储数据目录为/data/db(需要事先创建),默认端口27017,也可以修改成不同目录:# 直接启动mongod,默认数据存储目在 /data/dbpyth...原创 2018-12-04 19:30:51 · 1083 阅读 · 0 评论 -
MongoDB教程(一)--- mongodb 安装和使用
MongoDB 简介 MongoDB (名称来自「humongous (巨大无比的)」), 是一个可扩展的高性能,开源,模式自由,面向文档的NoSQL,基于 分布式 文件存储,由 C++ 语言编写,设计之初旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB使用的是内存映射存储引擎,它会把磁盘IO操作转换成内存操作,如果是读操作,内存中的数据起到缓存的作用,如果...原创 2018-12-04 19:27:54 · 935 阅读 · 0 评论