使用ElasticSearch赋能HBase二级索引 | 实践一年后总结

前言：还记得那是2018年的一个夏天，天气特别热，我一边擦汗一边听领导大刀阔斧的讲述自己未来的改革蓝图。会议开完了，核心思想就是：我们要搞一个数据大池子，要把公司能灌的数据都灌入这个大池子，然后让别人用 各种姿势 来捞这些数据。系统从开始打造到上线差不多花了半年多不到一年的时间，线上稳定运行也有一年多的时间。今天想简单做个总结。

一。背景介绍

公司成立差不多十五六年了，老公司了。也正是因为资格老，业务迭代太多了，各个业务线错综复杂，接口调用也密密麻麻。有时候A向B要数据，有时候B向C要接口，有时候C向A要服务；各个业务线各有各的财产，各自为营，像一个个小诸侯拥兵自重，跑腿费会议费都贵的很。面对这个现状，我们急需进行一波大改造了。

而这个系统（我们暂且叫它天池吧），正是为了整合公司各个业务线的资源，改造这个错综复杂的蜘蛛网为简单的直线班车。省去不必要的接口调用、业务穿插、会议沟通以及不知去哪里拿数据、拿不到数据、拿数据慢的困扰。当然，更节省了产品、开发人员的时间，提升了各业务线整体工作效率。

几个词形容一下天池：稳、快、大、省、清晰。

二。业务梳理

经过对公司各线业务进行梳理，总结出以下几大常见的数据输出模型：

• Key-Value快速输出型，最简单的kv查询，并发量可能很高，速度要求快。比如风控。

• Key-Map快速输出型，定向输出，比如常见的通过文章id获取文章详情数据，