数据服务 开源方案技术选型

已于 2024-01-09 10:18:13 修改
阅读量4.2k 收藏 22
点赞数 3
分类专栏： 大数据 文章标签： 数据中台 数据服务 Daas
于 2021-06-16 21:34:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39945938/article/details/117822749
版权

文章目录

一、数据服务简介

笔者认为数据中台应该具备以下能力：

  1. 获取数据
  2. 处理数据
  3. 分享数据
  4. 展示数据

数据服务对应的是分享数据的能力。

数据服务的能力体现为，通过配置的而不是编码的方式将已有数据发布成接口，供数据需求者调用。

为什么要用数据服务？
为了减少开发周期，提升开发效率。

二、开源方案介绍

介绍不分先后，只是简单介绍

1 Rocket-API

Rocket-API 基于spring boot 的API敏捷开发框架，服务端50%以上的功能只需要写SQL或者 mongodb原始执行脚本就能完成开发，另外30%也在不停的完善公共组件，比如文件上传，下载，导出，预览，分页等等通过一二行代码也能完成开发，剩下的20%也能依赖于动态编译技术生成class的形式，不需要发布部署，不需要重启来实现研发团队的快速编码，提测以及回归。

开源公司：
无公司，个人开源

项目地址：
https://gitee.com/alenfive/rocket-api#https://graphql.cn/

2 Magic-API

magic-api 是一个基于Java的接口快速开发框架，编写接口将通过magic-api提供的UI界面完成，自动映射为HTTP接口，无需定义Controller、Service、Dao、Mapper、XML、VO等Java对象即可完成常见的HTTP API接口开发

开源公司：
无公司，个人开源

项目地址：
https://gitee.com/ssssssss-team/magic-api

3 Dataway

Dataway 是基于 DataQL 服务聚合能力，为应用提供的一个接口配置工具。使得使用者无需开发任何代码就配置一个满足需求的接口。整个接口配置、测试、冒烟、发布。一站式都通过 Dataway 提供的 UI 界面完成。UI 会以 Jar 包方式提供并集成到应用中并和应用共享同一个 http 端口，应用无需单独为 Dataway 开辟新的管理端口。这种内嵌集成方式模式的优点是，可以使得大部分老项目都可以在无侵入的情况下直接应用 Dataway。进而改进老项目的迭代效率，大大减少企业项目研发成本。

开源公司：
新东方

项目地址：
https://github.com/ClouGence/hasor.git

4 APIjson

提供通用接口，大部分API不用再写自动生成文档，不用再编写和维护自动管理权限和版本、自动防SQL注入开放API无需划分版本，始终保持兼容支持增删改查、模糊搜索、正则匹配等。

开源公司：
腾讯

项目地址：
https://gitee.com/Tencent/APIJSON

5 Graphql

GraphQL 既是一种用于 API 的查询语言也是一个满足你数据查询的运行时。 GraphQL 对你的 API 中的数据提供了一套易于理解的完整描述，使得客户端能够准确地获得它需要的数据，而且没有任何冗余，也让 API 更容易地随着时间推移而演进，还能用于构建强大的开发者工具。

开源公司：
Facebook

项目地址：
https://github.com/graphql

三、详细对比

详细对比各开源项目的各种维度，如果项目既发布在github又发布在gitee，则选择数值更优秀的。

涉及到打分的满分10分，分数较为主观，仅供参考。

对比项Rocket-APIMagic-APIDatawayAPIjsonGraphql
第一个稳定版发布时间2020-06-162021-03-282015-07-032017-04-302015-10
仓库 watch/star/fork109/827/224134/750/23963/777/225363/11.2k/1.4k538/13.3k/1.1k/
开发语言Java/JavaScriptJava/VueJava/VueJavaTypeScript/JavaScript
文档完善度77388
易用度87595
使用场景替代CRUD，减少开发成本替代CRUD，减少开发成本场景和Graphql相同apijson的定位是解决小公司、团队及个人开发者产品快速上线，在这里忽略了后端，只需要后端按照设计要求建立相关对象之后，前端就可以直接通过apijson这里的规范直接调用。有多个接口需要查询有可能有交集也有可能没有交集的数据时，后端只需要一个API可以查询到数据全集，Graphql可以自动完成数据解析，封装，过滤操作。从而实现两个接口的需求 。
是否需要写后端代码truetruetruefalsetrue

四、推荐度

推荐度，排名从高到低。

根据以下维度：文档、是否简单、是否需要编码、开发语言是否适合我司、是否是大厂

  1. APIjson
    理由：1 文档完善 2 大厂背书 3 无需编码 4 语言适合我司，二次开发方便 5 使用简便
  2. Rocket-API
    理由：1 文档完善 2 编码较少 3 使用较为简便 4 语言适合我司，二次开发方便
  3. Magic-API
    理由：1 文档较为完善 2 编码较少 3 使用较为简便 4 语言适合我司，二次开发方便
  4. Dataway
    理由：1 文档较为完善 2 场景不适合
  5. Graphql
    理由：1 文档完善 2 大厂背书 3 场景不合适

这里的排名是根据需求定的，不同的项目需求场景不同，排名仅供参考！

PS:有误之处，请不吝赐教！

终回首
关注
  • 3
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
datasphere-service:开源数据工作平台
05-26
DataSphere服务层 综合数据即服务平台 DataSphere是由Huahuidata Inc.贡献的开源数据即服务平台，可在任何数据源上提供Unified SQL，Restful API接口和数据虚拟化功能。 文献资料 得到帮助 执照 请参考文件。
开源的服务发现
weixin_33913377的博客
12-24 134
开源的服务发现 返回原文英文原文：Open-Source Service Discovery Service discovery is a key component of most distributed systems and service oriented architectures. The problem seems simple at first: How...
Rocket-API 快速入门指南
最新发布
gitblog_00508的博客
08-08 396
Rocket-API 快速入门指南 rocket-apiAPI敏捷开发框架，用于API接口功能的快速开发。不再定义Controller,Service,Dao,Mybatis,xml,Entity,VO等对象和方法.以springboot starter 形式集成使用项目地址:https://gitcode.com/gh_mirrors/ro/rocket-api 1. 项目目录结构及介绍 Ro...
从0到1介绍一下开源大数据服务平台dataService
诸葛子房的博客
01-29 5238
在大数据领域也已经工作了多年，无论所待过的大公司还是小公司，统计出来的数据经常需要查询展示，比如说：用做大屏或者报表或者给一些线上服务提供数据源，经常会要用代码写一套接口服务，需要进行开发-测试-上线等一套流程，开发效率非常低下，导致开发一个服务需要接近0.5天或者1天的时间。(2)为了满足不同的数据量要求，选择不同的数据存储，因此导致数据存储多样性(比如：Mysql、Oracle、Hbase、Doris等等)，所以针对不同的存储开发代码不一致。(3)接口服务不规范，不同的开发人员，对于接口开发不一致。
数据服务技术栈
每天都要有进步鸭！
01-14 183
1. 大数据数据库 2. 实时计算 3.spring-boot + pandora-boot + 消息队列 metaq + 定时调度 shedulerx + 分布式请求 HSF + 缓存 Tair + 消息通知 Goc 4.React + typescript + antd ...
数据技术篇之数据服务
Listen·Rain的博客
12-13 1346
数据服务
大数据之路—— 数据服务
cjl的博客
11-12 1698
六、数据技术篇—— 数据服务6.1 架构演进6.2 技术架构@6.3 最佳实践@6.3.1 性能6.3.2 稳定性 6.1 架构演进 DWSOA 由需求驱动，一个需求开发几个接口，编写接口文档，开放给业务方调用。 缺点：接口力度粗，灵活度低，扩展性差，复用率低，开发效率低 OpenAPI 数据按照统计粒度聚合，同样维度的数据形成一张逻辑表，能有效收敛接口数量。 SmartDQ OpenAPI接口变多，且带来大量对象关系映射的维护工作量。这里再抽象一层，用DSL（Domain Specific L
开源数据湖方案选型：Hudi、Delta、Iceberg深度对比
01-27
总的来说，选择合适的开源数据湖方案需要根据实际业务需求、技术栈、资源限制以及团队的技术能力进行综合考量。理解每个方案的核心优势和适用场景，是做出明智决策的关键。在实施过程中，还需要关注社区动态，以便...
工作流开源框架技术选型对比.doc
09-22
在技术选型时，企业应根据自身的业务需求、技术栈、预算和团队技能来决定最适合的工作流框架。开源框架通常提供较低的成本和更大的灵活性，但可能需要更多的自定义和维护工作。商业产品则通常提供更完善的客户服务和...
技术选型方案(开发语言选型)针对java.doc
06-21
在软件开发过程中，技术选型是一项至关重要的决策，它直接影响项目的效率、可维护性和扩展性。本文将深入探讨为何选择Java作为开发语言，并分析其在技术选型中的优势。 Java是一种广泛使用的高级编程语言，由Sun ...
后端: 互动直播之WebRTC服务开源技术选型
YYniannian的博客
07-11 3125
最原始的直播系统其实并没有想象的那么复杂，无非就是主播端将音视频数据推送到服务器，观众端则从服务器拉取数据播放。
开源SPL,WebService/Restful广泛应用于程序间通讯，如微服务、数据交换、公共或私有的数据服务等。
热门推荐
08-09 4万+
WebService/Restful广泛应用于程序间通讯，如微服务、数据交换、公共或私有的数据服务等。之所以如此流行，主要是因为WebService/Restful采用了XML/Json这类多层结构化数据进行信息传递。XML/Json不仅是文本格式，而且支持多层结构，可承载足够通用和足够丰富的信息。但多层结构要比传统的二维表复杂，取数后再处理的难度也大。早期，没有专业的json/XML的后处理技术，Java开发者通常要采取硬写代码或入库再用SQL的方式。硬写代码工作量巨大，计算能力几乎为零，开发效率极低。.
大数据的数据接入和数据服务技术的研究
JCrazyUltimate的专栏
06-03 1288
转自我的语雀：https://www.yuque.com/docs/share/4a3838e2-f63d-4c00-8842-0bcd881516eb?# 《论文：大数据的数据接入和数据服务技术的研究-已发表》
倒计时 2 天 | 两大新锐开源项目，4 大议题探索数据服务全生命周期落地秘诀！...
Apache DolphinScheduler开源社区
05-12 139
▍大数据是新的生产要素，被称为数字经济时代的“石油”，蕴藏巨大价值。数据生命周期分为：采集、存储、整合、呈现与使用、分析与应用、归档和销毁等阶段。数据集成是数据全生命周期中至关重要一环，它如何帮助企业以最小的成本从数据中获取最大的价值？如何通过数据集成帮助企业数据服务全生命周期落地？在即将开始的Apache InLong(Incubating)&Apache ...
数据中台选型前必读（七）：解读数据服务的四大关键技术
ylguoguo6666的博客
12-22 1599
这篇我们展开聊聊数据服务的四大关键技术，然后总结一下数据服务架构的三大关键点，希望对大家有所帮助。
一文带你深入了解大数据服务
SeeK的云技术博客
05-10 1118
随着互联网以及物联网等信息技术的飞速进步，其所产生的数据量也进行了海量增长，将目光看向整个移动互联网领域，大数据已经是紧接云计算、物联网之后的又一大技术性变革，大数据革命早已开始。现今数据市场还有极大的价值等待挖掘。 一、什么是大数据？ 大数据指的是相关的数据资料数量十分巨大，数据结构十分复杂的数据，一些常用的软件工具甚至无法在合理的时间内对这些数据进行有效的管理、搜集、处理和分析。大数据不止包含看大量的数据和处理大数据的技术，还涵盖了所有可以在大规模数据的基础上可以做的事情，换言之，大数据为我们提供了一种
[实战]openGauss之AI4DB,领先的开源数据库自治运维平台DBMind
霸王龙的日常专栏
03-26 1806
AI与数据库结合是近些年的行业研究热点，openGauss较早地参与了该领域的探索，并取得了阶段性的成果。AI特性子模块名为DBMind。DBMind作为openGauss数据库的一部分，为openGauss数据库提供了自动驾驶能力，是一款领先的开源数据库自治运维平台。通过DBMind, 您可以很容易地发现数据库的问题，同时可以实现秒级的数据库问题根因分析。
12款开源数据资产(元数据)管理平台选型分析（一）
zdsx1104的专栏
02-06 1万+
数据治理、数据资产管理等工作，是企业数字化转型中的底层基建，很重要，却又很难体现出效果和价值。上层数据战略、数据架构、数据流程、数据规范等问题，在组织层面没有解决；不论数据资产平台等工作规划和实现得如何好，都只能体现出杯水车薪的效果。
数据API
Onebound_Eason的博客
06-01 1335
数据API是大数据时代的一个创新技术，可以视为传统API的一种延伸，但更加高级和复杂。数据API（Data Application Programming Interface）是指数据管理系统或应用程序提供的一组开放式接口，用于方便应用程序进行数据的获取、管理、转换等。数据API包含许多不同类型的数据，如结构化数据、非结构化数据、半结构化数据等。随着大数据时代的到来，数据的规模越来越大，数据的价值也越来越高。由于数据API可以整合不同数据源的数据，因此分析人员可以访问多种数据类型，以获取更广泛的数据视角。
企业级Kubernetes平台及技术选型
04-04
Kubernetes是一个开源的容器编排平台，已经成为了企业级容器化应用的首选平台。在选择企业级Kubernetes平台时，需要考虑以下几个方面： 1. 功能完备性：企业级Kubernetes平台应该具备所有基本的Kubernetes功能，如容器编排、服务发现、负载均衡、自动伸缩等。同时，还需要支持高可用和容错机制，以确保应用的稳定性。 2. 安全性：企业级Kubernetes平台需要具备安全性，包括网络隔离、访问控制、认证和授权等。此外，还需要支持敏感数据的加密和存储。 3. 可扩展性：企业级Kubernetes平台需要支持高度可扩展性，以满足企业级应用的需求。这包括水平扩展和垂直扩展等。 4. 管理性：企业级Kubernetes平台需要具备易管理性，包括自动化部署、自动化升级、监控和日志管理等。此外，还需要支持多租户和多集群管理。 5. 社区支持：企业级Kubernetes平台需要具备广泛的社区支持，包括开发者社区和厂商社区。这将有助于解决问题和提供支持。 在选择企业级Kubernetes平台时，可以考虑以下几个技术选型： 1. Kubernetes发行版：Kubernetes发行版提供了一整套企业级Kubernetes平台，如Red Hat OpenShift、Google Kubernetes Engine、VMware Tanzu等。 2. 基础设施：企业级Kubernetes平台需要运行在可靠的基础设施上，如公有云、私有云或物理服务器等。 3. 存储：企业级Kubernetes平台需要支持多种存储方案，如云存储、本地存储、网络存储等。 4. 网络：企业级Kubernetes平台需要支持多种网络方案，如服务网格、虚拟私有网络、负载均衡等。 5. 安全性：企业级Kubernetes平台需要支持多种安全方案，如网络隔离、认证和授权、加密和存储等。 综上，对于企业级Kubernetes平台的选型，需要综合考虑平台功能、安全性、可扩展性、管理性和社区支持等方面，并根据具体需求选择合适的技术选型。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值