大数据产品系列-客户分群技术解析

方案一

1、技术选型

基于Hbase+phoenix+solr+sql的组合方案

2、为什么选phoenix

基于phoenix可以做到毫秒级响应，主要是因为phoeix具有以下的特性：

3、为什么选solr

phoenix支持二级索引，但是索引只支持全局索引和覆盖索引，并且不支持标签任意组合走索引的问题，一旦查询过程不走索引就会导致查询进行全表扫描而引发查询慢且会导致频繁gc，所以引入solr来完成任意标签组合圈人的问题。
优势：

1. solr已经将整个索引操作功能封装好了的搜索引擎系统(企业级搜索引擎产品)
2. solr可以部署到单独的服务器上(WEB服务)，它可以提供服务，我们的业务系统就只要发送请求，接收响应即可，降低了业务系统的负载。
3. solr部署在专门的服务器上，它的索引库就不会受业务系统服务器存储空间的限制。
4. solr支持分布式集群，索引服务的容量和能力可以线性扩展。
5. Solr 索引的实现方法很简单，用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML 文档，Solr根据xml文档添加、删除、更新索引 。Solr 搜索只需要发送 HTTP GET 请求，然后对 Solr 返回Xml、json等格式的查询结果进行解析，组织页面布局。Solr不提供构建UI的功能，Solr提供了一个管理界面，通过管理界面可以查询Solr的配置和运行情况。

4、solr+hbase原理

方案二

1、技术选型（出自阿里的博客，地址我忘了）

2、开发难点

由于phoenix的索引不支持自由组合，在实际项目的实践中效果有些勉强接受，上面的方案需要在开源的phoenix的基础上进行二次开发；

方案三

1、技术选型

基于OLAP型数据分析技术，比如clickhouse或者阿里的maxcomputer，由于对CK目前不熟，待后续再完善更好的技术方案和项目经验