数据服务架构

本文介绍了数据服务架构,包括系统架构、系统功能和项目结构。系统通过API接口规范化定义,提供认证、权限、限流和监控功能。数据网关支持多种限流策略和接口监控。全链路打通记录数据流转,支持pull和push交互方式,合理利用各种存储引擎。项目结构包括daas-server、daas-gateway等组件,实现API集市和多数据源管理。此外,还提供了监控和管理功能,如QPS监控、API授权和限流。
摘要由CSDN通过智能技术生成

1.系统架构

在这里插入图片描述

2.系统功能

  1. 接口规范化定义
    在系统上定义API的输入输出,生成API文档,屏蔽了中间的存储,数据的流转通过API来进行

  2. 数据网关
    作为网关服务,数据服务必须要具备认证、权限、限流、监控四大功能,这是数据和接口复用的前提

首先是认证,需要支持开发和生产两种模式,开发模式比较便于使用通过appcode直接认证,生产通过 accesskey 和 secretkey,应用每次调用 API 接口,都必须携带 acesskey 和 secretkey

其次是限流,授权的时候会为每个应用进行限流,限流的方式有很多种,比如(qps达到多少。今日访问量到达上限,总访问量使用完,5分钟内qps达到多少)。超过设定的值就会发生限流甚至是熔断操作,直接拒接链接

还要提供接口相关的监控,比如接口的 90% 的请求响应时间、接口调用次数、失败次数等相关的监控,另外,对于长时间没有调用的 API ,应该予以下线。这样做的好处是防止没用的接口额外占用资源。

  1. 全链路打通
    需要记录数据到API的流转 以及API到应用的流转过程。可以全面掌控到数据具体使用到了哪里

  2. 多种数据交互方式
    支持pull 和 push 的方式,将数据导入到kafka

  3. 合理利用各引

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值