能源物联网中如何处理上报的大量数据问题的思路分析（题目有点长，但是我不介意它更长）--后续会继续补充...

V1.0

      今年年底，随着运营的新能源车的增多，车辆上报上来的各种can消息也飞速增长，传统的关系型数据库已经无法满足存储的需要，因为转而向非关系型数据库去寻求帮助。目前面临的问题：

        1，数据存储：large，粗略估计，明年预计每日过4亿；

        2，can消息频繁上报，造成入库不及时的堆积问题：入库太慢，然而上报太快；

        3，检索分析困难，后续数据挖掘艰难；

        4，实时数据/历史数据

     分析完问题，来说说最开始的一个思路：

        1，解决存储分析问题：使用HBase独立机房存储，使用第三方专用分析工具进行SQL化分析（主要是为了省事儿，你api比较6 也可api,你美你随意）；

        2，解决消息堆积问题： 采用kafka进行一个分布式的消息缓存，将上报数据进行多partication消费，进行入库；

        3，解决实时查询问题：对于实时数据，不进行读库查询，每次can消息刷新到redis缓存中；

        3，细碎问题：

                          多数据来源问题；

                          解析中的数据清洗，格式化，过滤，标准化（目前还是以国标为主）问题；

                          。。。。。。。。

    未完待续。。。。。