mysql 如何管理_如何管理MySql上的巨大操作

我有一个MySql数据库.我有很多记录(约4,000,000,000行),我想处理它们以减少它们(减少到大约1,000,000,000行).

假设我有以下表格：

> table RawData：我想要将它们插入RawData,每秒超过5000行

> table ProcessedData：此表是在RawData中插入的行的已处理(聚合)存储.

最小行数> 20000000

> table ProcessedDataDetail：我写表ProcessedData的详细信息(聚合的数据)

用户希望在ProcessedData表中查看和搜索需要加入8个以上其他表的表.

插入RawData并在ProcessedData中搜索(ProcessedData INNER JOIN ProcessedDataDetail INNER JOIN …)非常慢.我使用了很多索引.假设我的数据长度是1G,但我的索引长度是4G :). (我希望得到这些索引,它们使我的过程变慢)

我怎样才能提高这个过程的速度？

我想我需要一个来自ProcessedData的影子表,将其命名为ProcessedDataShadow.然后处理RawData并使用ProcessedDataShadow聚合它们,然后将结果插入ProcessedDataShadow和ProcessedData.你有什么想法？？

(我正在用C开发项目)

先感谢您.

解决方法:

在不了解您的实际应用程序的情况下,我有以下建议：

>如果您还没有使用InnoDB. InnoDB使用行锁,在处理并发更新/插入方面要好得多.如果不同时工作会慢一些,但行锁定可能是你必须拥有的,具体取决于你将为RawData提供多少源.

>索引通常会加快速度,但选择错误的索引会使速度变慢.我不认为你想摆脱它们,但很多索引可以使插入非常慢.插入批量数据时可以禁用索引,以防止更新每个插入的索引.

>如果要选择可能会干扰数据收集的大量数据,请考虑使用仅用于读取的复制从数据库服务器.即使这会锁定行/表,主(主)数据库也不会受到影响,并且一旦可以自由地完成,奴隶就会恢复速度.

>您是否需要处理数据库中的数据？如果可能,可以收集应用程序中的所有数据,并仅插入ProcessedData.

标签：mysql,database,mysql-management,database-optimization

来源： https://codeday.me/bug/20190621/1254382.html