标签是对用户某个维度特征做描述与刻画,让使用者快速获取信息。
标签分为事实类标签、规则类标签、算法类标签。
标签生产、存储与查询是标签系统开发的核心技术问题。
对此有以下粗浅认识并记录。
标签生产
标签通过数据仓库离线计算与事件实时计算进行生产。
标签存储
标签一般采用大宽表存储。
数据量较大可以使用HBase存储,
数据量较小可以使用ES存储。
存储格式采用非结构格式:JSON对象的keyvalue方式。
标签查询
标签查询需要逻辑组合多个标签进行查询。
可以选择倒排索引数据库进行查询如:ES、PostgreSQL
如对性能要求特别高,可考虑使用支持bitmap技术数据库,自建倒排索引。
ES作为HBase的二级索引,通过标签条件查询获取到用户id,利用用户id在HBase中查询用户所有标签。
海量标签存储引擎选择考虑
-
数据与索引分离
-
数据使用HBase,标签数据格式可以是一个大json也可以按列存储
-
索引使用ES,标签数据格式为json
-
非结构化json可以满足标签灵活扩展,缺点是数据会膨胀
标签技术设计时可以将TP和AP或者说在线和离线的场景分开
使用合适的技术满足对应场景,如:
使用ES满足实时查询请求
使用HBase或Hive满足全量数据的获取