在做数据产品时,我们一般为了快速的支撑业务,会快速的搭建一个核心产品,支撑业务方的使用。而随着业务的发展,我们会发现,一个产品模块已经不能满足业务方的需求了,脚本的管理,离线任务的管理,实时的消息队列,各种图形化的报表。他们是不同的对象,分别形成了不同的产品。而架构师们在看到这种情况后,一定会对公共的服务进行抽取和整合。所以,一个成熟的平台,公共的基础服务是共用的。
虽然这样说,但抽取的过程,一定伴随着功能的重构,原来业务的发展有多快,重构的难度就有多大。因为在业务高速发展时,大概率的情况是研发并没有时间进行公共模块的建设,而是涌在业务方的各种需求里。但抽取这件事,越早做对平台越好,这样新的需求和模块,就可以依托于搭建好的公共服务,这会大幅度减轻研发者的工作量,还避免了以后填坑的烦恼。
说了这么多,我们大数据平台的基础服务都有哪些呢,总结起来包括:数据源、权限服务、流程服务、监控服务、字典服务、埋点服务、标签服务、公告服务、文档服务。
1.数据源
数据源这个词其实比较专业,没有接触过大数据的同学可能不了解是什么,其实这就是数据库链接信息的统一管理模块。一个成熟的大数据平台当然是有能力链接多个数据库,为用户提供工具服务的,而如果报表平台,调度平台等分别建设数据源管理,重复建设不说,将来数据库进行调整时,各个模块需要分别修改配置,调整的影响评估工作量会增加,所以大数据平台需要一个统一的数据源服务,专门管理数据库链接的信息。各功能模块连接数据库均通过它来实现。
</