- 博客(3)
- 收藏
- 关注
原创 MySQL删除大批量数据优化
背景:经过实验,每次删除400万条要花1.5 - 3小时,而且是越到后面越慢,正常的话,需要大约102个小时,大约4天半时间。这在生产环境下是不能接受的。产生原因:每次删除记录,数据库都要相应地更新索引,查询MySQL官方手册得知删除数据的速度和创建的索引数量是成正比的;这是很慢的IO操作,而且后面索引碎片越来越多,就更慢,这就是为什么一开始只花1.5小时,后面要3小时才能删除400万条记录...
2019-08-24 09:48:58
9001
原创 HBase学习二:HBase的表结构
HBase的表结构初次接触HBase,可能看到以下描述会懵:“基于列存储”,“稀疏MAP”,“RowKey”,“ColumnFamily”。其实没那么高深,我们需要分两步来理解HBase, 就能够理解为什么HBase能够“快速地”“分布式地”处理“大量数据”了。内存结构文件存储结构先介绍几个名称概念行键RowKey:行键,类似mysql中的主键,Table中的记录按照Row ...
2019-08-21 21:09:20
4672
原创 HBase学习一:HBase概述
HBase概述HBase产生背景HBase介绍HBase特点HBase产生背景自 1970 年以来,关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后,好多公司实现处理大数据并从中受益,并开始选择像 Hadoop 的解决方案。 Hadoop 使用分布式文件系统,用于存储大数据,并使用 MapReduce 来处理。 Hadoop 擅长于存储各种格式的庞大的数据,任意的格式甚至非结构化...
2019-08-21 17:26:50
200
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人