数据存储如何进行选型

经过几年的开发，使用过很多数据库，每次选型的时候都会根据成本考虑。一个每种数据库适合什么？

比如mysql数据库关系型数据，最主要的就是事务、锁 强一致性。问题数据量很大的时候，单表很大如果超过1个亿的时候，就需要考虑考虑，如果访问量很大，数据库连接池是个问题，一般单机的数据库连接池就10个，如果太多会有问题。如果数据库连接池不够 那么只能扩容。所以进行分库分表的改造，或者单库分表，数据库连接池还是不够，只是表数据分开。分库分表时候，查询的时候索引是受限制的，只能根据分表键进行查询，即使分表键进行定制，最多也就只能支持2个字段的查询。

这个时候很对这种大数据量的插入和查询，这个时候可以考虑使用hbase，但是这个需要单独的运维，这个列式数据库底层存储在hdfs，可以水平扩展。hbase也是有缺陷，就是key的设计至关重要，如果索引多的话，那么要创建多个hbase的表，如何保证一致性也是一个问题。

那么针对海量数据有很多条件查询如何做呢？

可以使用clickhoue实时数据仓库，支持海量数据的存储和查询，

postgresql也是一种比较好的方式。

分布式锁如何实现？

mysql数据库版本号实现乐观锁

mysql的for update 悲观锁

redis分布锁，一般建议使用分布式锁，因为可以减少对数据库连接池的占用。但是redis的稳定性就比较重要 

报表如何让做？

将在线的myqsl数据同步到hdfs，然后数据同学使用hive做业务开发，查处数据，然后在同步到clickhouse，用于数据实时的业务查询。

如何做搜索？

为啥要搜索，很多场景mysql的表就是某一个业务的，如果一个聚合业务需要很多表的属性，那怎么搞？多表连查吗？？？ 不是的，把这些表的数据 合成一张表 然后同步到 es中或者solr进行业务的搜索，mongdb稳定性数据库。

比如美团根据类目进行店的展示和推荐，都是使用搜索引擎进行推荐的，把广告的数据进行加权推荐在前面。

阿里开源了c++的搜索引擎

histore内存简易数据库，主要用于存储一些统一数据，用于在宿主机本地的处理

图数据库nefo4j 比较好用--目前没用过