大数据平台有哪些基础服务

大数据平台通常包含数据源、权限服务、流程服务、监控服务、字典服务、埋点服务、标签服务、公告服务和文档服务等基础组件。数据源管理数据库链接,权限服务统一账号权限,流程服务支持流程审批,监控服务确保数据处理正常,字典服务提供枚举管理,埋点服务简化数据采集,标签服务灵活管理对象,公告服务统一信息发布,文档服务则辅助用户理解和使用平台。
摘要由CSDN通过智能技术生成

  在做数据产品时,我们一般为了快速的支撑业务,会快速的搭建一个核心产品,支撑业务方的使用。而随着业务的发展,我们会发现,一个产品模块已经不能满足业务方的需求了,脚本的管理,离线任务的管理,实时的消息队列,各种图形化的报表。他们是不同的对象,分别形成了不同的产品。而架构师们在看到这种情况后,一定会对公共的服务进行抽取和整合。所以,一个成熟的平台,公共的基础服务是共用的。

 

  虽然这样说,但抽取的过程,一定伴随着功能的重构,原来业务的发展有多快,重构的难度就有多大。因为在业务高速发展时,大概率的情况是研发并没有时间进行公共模块的建设,而是涌在业务方的各种需求里。但抽取这件事,越早做对平台越好,这样新的需求和模块,就可以依托于搭建好的公共服务,这会大幅度减轻研发者的工作量,还避免了以后填坑的烦恼。

 

  说了这么多,我们大数据平台的基础服务都有哪些呢,总结起来包括:数据源、权限服务、流程服务、监控服务、字典服务、埋点服务、标签服务、公告服务、文档服务。

 

  1.数据源

 

  数据源这个词其实比较专业,没有接触过大数据的同学可能不了解是什么,其实这就是数据库链接信息的统一管理模块。一个成熟的大数据平台当然是有能力链接多个数据库,为用户提供工具服务的,而如果报表平台,调度平台等分别建设数据源管理,重复建设不说,将来数据库进行调整时,各个模块需要分别修改配置,调整的影响评估工作量会增加,所以大数据平台需要一个统一的数据源服务,专门管理数据库链接的信息。各功能模块连接数据库均通过它来实现。

 </

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值