1万条数据大概占多大空间_mysql亿级数据数据库优化方案测试-银行交易流水记录的查询...

本文探讨了MySQL在处理亿级交易流水数据时的性能和优化策略。通过实验展示了数据插入的优化方法,分析了不同查询条件下的查询速度,并讨论了分库分表、索引创建等解决方案,以提高查询效率。
摘要由CSDN通过智能技术生成

对MySQL的性能和亿级数据的处理方法思考,以及分库分表到底该如何做,在什么场景比较合适?

bc9bf52b50be7c6565cb662d56b9d4dc.png

比如银行交易流水记录的查询

限盐少许,上实际实验过程,以下是在实验的过程中做一些操作,以及踩过的一些坑,我觉得坑对于读者来讲是非常有用的。

首先:建立一个现金流量表,交易历史是各个金融体系下使用率最高,历史存留数据量最大的数据类型。现金流量表的数据搜索,可以根据时间范围,和个人,以及金额进行搜索。

-- 建立一张 现金流量表

DROP TABLE IF EXISTS `yun_cashflow`;

CREATE TABLE `yun_cashflow` (

  `id` bigint(20) NOT NULL AUTO_INCREMENT,

  `userid` int(11) DEFAULT NULL,

  `type` int(11) DEFAULT NULL COMMENT '1、入账,2提现',

  `operatoruserid` int(11) DEFAULT NULL COMMENT '操作员ID',

  `withdrawdepositid` bigint(20) DEFAULT NULL COMMENT '提现ID',

  `money` double DEFAULT NULL COMMENT '钱数',

  `runid` bigint(20) DEFAULT NULL COMMENT '工单ID',

  `createtime` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=63 DEFAULT CHARSET=utf8;

然后开始造1个亿的数据进去。

-- 循环插入

drop PROCEDURE test_insert;

DELIMITER;;
CREATE PROCEDURE test_insert()
begin 
declare num int; 
set num=0;
        while num < 10000 do
            insert into yun_cashflow(userid,type,operatoruserid,withdrawdepositid,money) values(FLOOR(7 + (RAND() * 6))+FLOOR(22 + (RAND() * 9)),1,FLOOR(97 + (RAND() 
* 6))+FLOOR(2 + (RAND() * 9)),FLOOR(17 + (RAND() * 6))+FLOOR(2 + (RAND() * 9)),FLOOR(5 + (RAND() * 6))+FLOOR(2 + (RAND() * 9)));
            set num=num+1;
        end while;
  END;;

call test_insert();
坑一:

这个存储过程建立好了之后,发现插入数据特别的慢,一天一晚上也插入不到100万条数据,平均每秒40~60条数据,中间我停过几次,以为是随机函数的问题,都变成常数,但效果一样,还是很慢,当时让我对这个MySQL数据库感觉到悲观,毕竟Oracle用惯了,那插速是真的很快,不过功夫不负有心人,原来可以用另外一种写法造数据,速度很快,上代码。

INSERT INTO example
(example_id, name, value, other_value)
VALUES
(100, 'Name 1', 'Value 1', 'Other 1'),
(101, 'Name 2&
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
如果Redis存储1亿条数据,占用的内存取决于存储的数据类型和数据大小,并受Redis的内存管理机制影响。下面是一些可能的情况和估计: 1. 字符串类型数据:如果每个字符串平均占用100字节的内存空间,那么1亿条数据大约占用10GB的内存(100 * 1亿 / 1024 / 1024 / 1024 ≈ 9.31GB)。 2. 哈希类型数据:如果每个哈希类型数据平均占用200字节的内存空间(包括键和值),那么1亿条数据大约占用20GB的内存(200 * 1亿 / 1024 / 1024 / 1024 ≈ 18.63GB)。 3. 列表类型数据:如果每个列表类型数据平均占用20字节的内存空间,那么1亿条数据大约占用2GB的内存(20 * 1亿 / 1024 / 1024 / 1024 ≈ 1.86GB)。但是如果列表中的数据是较长的字符串或者对象,占用的内存空间可能会更多。 4. 集合类型数据:如果每个集合类型数据平均占用50字节的内存空间,那么1亿条数据大约占用5GB的内存(50 * 1亿 / 1024 / 1024 / 1024 ≈ 4.66GB)。 5. 有序集合类型数据:如果每个有序集合类型数据平均占用100字节的内存空间,那么1亿条数据大约占用10GB的内存(100 * 1亿 / 1024 / 1024 / 1024 ≈ 9.31GB)。 需要注意的是,这只是一个估计,实际占用的内存可能会因为Redis的压缩机制、内存碎片以及其他因素的影响而有所不同。同时,Redis还具有一些内存优化技术,如分页存储、虚拟内存等,以帮助减少内存占用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值