大数据生态数据库技术选型

大数据生态数据库特性分析

1：数据库选型

hbase、es、clickhouse、hive、mysql
hbase
优点：hbase支持对数据的更新，删除和插入操作，列可以动态扩展。依赖hdfs作为底层的数据存储，具备强大的存储能力，是列式存储数据库，对于稀疏矩阵的大表，列式存储的数据库能节省空间。
缺点：不支持事务，不支持二级索引，不支持sql。查询延迟大，不支持复杂的关联等查询条件，但是可以借助phoneix实现关联查询和查询低延迟。总体延迟300ms左右。
场景：所以Hbase更适合非结构化的数据存储；在既要求随机读写又要求实时更新的场景中，比如工业互联网-煤炭行业。对设备状态的实时监控，不断的读取同时数据又在写入或更新。
es：
优点：ES 是最为流行的大数据日志和搜索解决方案，支持动态schema，支持全文检索。
缺点：es返回结果的条数较少，大批量的结果返回有时延迟大，大量的写入容易报拒绝。因为基于内存管理数据不适合大量的数据存储。
场景：es多用于复杂的全文检索和日志分析。ES很多时候可以作为MySQL或HBase的索引来使用，比如对查到的结果再去hbase查数据。
clickhouse:
优点：支持sql查询，操作简单，查询性能高（很多场景略微优于es），延迟低，维护简单，数据存储在本机上，不需要调度去执行查询（hive需要利用ya