关于hbase和phoenix开源框架的使用体会

我们的系统每天会产生60万条的数据需要存储，那么问题就来了，我们需要什么样的方式去存储这些数据。

      一开始的选择是mysql存储，建立日库，周库，月库等，但是时间久了数据越来越多，没有对数据进行统一的管理，表格对来越多，工作量越来越大。

      采用apache的大数据存储仓库hbase可以解决数据量比较大的问题。依照目前hbase存储能力来看，我们在hbase中存储了1000万的数据，hbase以键值对的查询速度并没有下降多少，相对来说速度还是比较快，但是有一个比较关键的问题需要解决，那就是hbase只是能做为数据存储的仓库，业务上需要用到这些数据进行分类展示，那么就需要根据条件从hbase中查询出所需要的数据，究竟怎么才能做到按照条件查询呢？

      有人认为hbase可以建立索引，根据索引去查询hbase中的数据，我们并没有采用这种办法。而是采用了能和hbase融合的phoenix开源框架，这个框架支持类似mysql的结构化查询语句，具体怎么做就不说了，可以去查看http://phoenix.apache.org/ ，这里我把使用的结果罗列出来。

     结果：

      phoenix可以支持各种结构化查询语句，并且我们的仓库已经存储了1000万的数据，但是其中有一个让人比较头疼的问题，在数据量达到千万级别的时候，结构化查询语句执行的速度比较慢，如果我根据条件查询一条数据需要近2分钟的时间，这对前端业务系统的性能产生了严重的影响，具体怎么解决后续再谈。

转载于:https://my.oschina.net/u/1757579/blog/788139