IOT下设备等大数据量存储、统计分析的胡思乱想（笔记）

方式一

mysql关系型数据库 + shardingsphere

采用分库分表的方式。根据具体业务场景（按天或按月查询数据），可进行按月、天等时间方式进行分表存储，避免单表存储过大，导致查询瘫痪。
至于复杂聚合统计分析等，可能需要单独开任务分析计算并存储到中间表来加速查询。

方式二

mongodb + spark

mongodb 可以通过分片的方式快速进行横向扩展，达到分布式存储的目的，适用物联网等海量数据的存储场景。
而mongodb 存储的海量数据恰恰可以作为spark（基于内存、较快：处理的中间结果都是存放在内存，而mapreduce是写回到磁盘中去）计算引擎的数据源，利用spark的并行计算能力来对原始数据进行复杂的统计分析逻辑处理，并将结果集存储回mongodb 或其他存储结构中，以快速满足业务查询所需。

方式三

hbase + opentsdb

可以使用hbase 来进行原始数据的存储，依托opentsdb开源时序数据库来进行聚合分析统计操作。
hbase基本只能根据rowkey来进行索引查找数据（加其他额外的没多大用），不能像mongodb可加上其他条件进行快速过滤。

总结

大数据量存储设计的分库分表，分片存储等都涉及比较复杂的情况，如非必要，不要滥用。
凡事皆可变，具体场景有着灵活的处理方式，实际还有各种大数据处理方式（个人由于不太熟悉，暂无想法）。上述仅仅个人笔记+一些想法，暂且记录（不一定是对的想法）