- 博客(3)
- 收藏
- 关注
RSS订阅原创 MySQL删除大批量数据优化
背景：经过实验，每次删除400万条要花1.5 - 3小时，而且是越到后面越慢，正常的话，需要大约102个小时，大约4天半时间。这在生产环境下是不能接受的。产生原因：每次删除记录，数据库都要相应地更新索引，查询MySQL官方手册得知删除数据的速度和创建的索引数量是成正比的；这是很慢的IO操作，而且后面索引碎片越来越多，就更慢，这就是为什么一开始只花1.5小时，后面要3小时才能删除400万条记录...
2019-08-24 09:48:58
9001
原创 HBase学习二：HBase的表结构
HBase的表结构初次接触HBase，可能看到以下描述会懵：“基于列存储”，“稀疏MAP”，“RowKey”,“ColumnFamily”。其实没那么高深，我们需要分两步来理解HBase, 就能够理解为什么HBase能够“快速地”“分布式地”处理“大量数据”了。内存结构文件存储结构先介绍几个名称概念行键RowKey：行键，类似mysql中的主键，Table中的记录按照Row ...
2019-08-21 21:09:20
4672
原创 HBase学习一：HBase概述
HBase概述HBase产生背景HBase介绍HBase特点HBase产生背景自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后，好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。 Hadoop 使用分布式文件系统，用于存储大数据，并使用 MapReduce 来处理。 Hadoop 擅长于存储各种格式的庞大的数据，任意的格式甚至非结构化...
2019-08-21 17:26:50
200
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人