Mysql技术路线整理

mysql 大数据量该怎么存储和维护

有20000台仪器(将来会越来越多,可能达到60w),每个仪器平均每天会产生720条数据,要存储到mysql数据库中。那每天表中就会新增14400000条数据,这样要不了多久,这个表的查询就会特别慢,所以就做了分表处理,每台仪器对应一张表。现在单表的速度是提升了,但管理起来特别麻烦,首先workbench操作会特别卡特别慢,然后如果对表做字段变更的时候,就需要对20000张表做变更。这太疯狂了。所以想请教一下大神,我这样的情况该怎么处理呢

1.尝试搭建一个10台机器的hadoop集群直接将数据放到hive里面。
2.做分区表,按照日期,每天一张表。一张表1440万记录再考虑做优化查询。
3.综合上面的考虑就好:

  • 1、根据需要,按照时间分区,小时或者天; 不要按照仪器分区,

  • 2、使用NOSQL,数据放到HIVE里面处理。 使用定时器按需处理一定数据放到MYSQL用于业务处理。

问题可以归纳为:
mysql的局限在哪里,性能瓶颈在哪里?在什么数据量或表数量下会出现性能瓶颈。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值