最近进行的项目,由于公司人比较少,项目比较紧,基本设计与开发同步进行,其中有一个业务场景是:一个单独的mysql数据库存储采集上来的数据,但数据量比较大,理论上最高每秒会有上万数据入库,当然,进入的是不同的表,表的结构基本都是三列:时间,参数名,值。
目前,从测试上来看,1个月时间一个表的数据量差不多600万,实际业务会不会更大,也不好估算,其他几个表估计会比这个表数据量小。同时,前端会有业务模块从表中读取数据,形成报表或者echart图。即便从细节上不多考虑,从插入和读取的性能上,就很让人头痛,有什么数据库或者解决方案能提供么?问了有经验的过去公司的同事,建议我用hadoop或者spark,hbase之类,但对我来说,现在的业务开发已经忙不过来了,实在是没有精力啊~ 我想先用简单的分库分表,读写分离,将项目开发完,并申请公司招聘人员,再进行改造,实在是精力有限啊!
大神百度后,发现mycat可以支持,现在正在学习中,有使用过经验的您,如果有时间,可以留言,mycat的任何使用经验,对我都大有裨益!