开源大数据组件

已于 2024-01-08 19:40:06 修改
阅读量294 收藏
点赞数
文章标签： 大数据 开源软件
于 2023-10-25 16:00:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36743482/article/details/134037064
版权

集群：DataSphereStudio
https://gitee.com/WeBank/DataSphereStudio?utm_source=alading&utm_campaign=repo

BI报表：DataEase
https://github.com/dataease/dataease

集群管理 HDP/CDH/CDP

数据湖：Starrocks
强烈推荐
https://www.starrocks.io/

调度工具：
DolphinScheduler(海豚调度)
https://dolphinscheduler.apache.org/zh-cn
– Todo

搭建一个简易的实时数仓

  • Kafka：中间件
  • EFAK：Kafka监控工具
  • Fllink CDC：数据集成
  • StarRocks：数据存储
  • FlinkSQL：数据分析
  • DolphinScheduler：调度工具
  • Grafana：监控
刘金宝_Arvin
关注
WeDataSphere:WeDataSphere是用于大数据平台的财务级别的一站式开源手提箱。 目前，Scriptis和Linkis的源代码已经发布到开源社区。 WeDataSphere，轻松实现大数据！-one source code
03-24
| WeDataSphere开源组件 ， ， ， ， ， 。 到Github仓库 定位为数据应用程序开发门户，闭环涵盖了数据应用程序开发的整个过程。 通过统一的UI，类似于工作流的图形拖放开发体验可满足数据应用程序开发的整个生命周期，包括数据导入，脱敏清理，数据分析，数据挖掘，质量检查，可视化，计划到数据输出应用程序等。 。 到Github仓库 与计算/存储引擎（Spark，Flink，Hive，Python和HBase）连接，公开REST / WS接口，并执行多语言作业（SQL，Pyspark，HiveQL和Scala）作为数据中间件。 到Github仓库 用于交互式数据分析，包括脚本开发（SQL，Pyspark，HiveQL），任务提交（Spark，Hive），UDF，功能，资源管理和智能诊断。 到Github仓库 是一站式的数据质量管理平台，支持对各种数据源进行质量验证，
Scriptis：Scriptis用于交互式数据分析，包括脚本开发（SQL，Pyspark，HiveQL），任务提交（Spark，Hive），UDF，功能，资源管理和智能诊断
01-30
圣经 英文| 介绍 Scriptis用于交互式数据分析，包括脚本开发（SQL，Pyspark，HiveQL），任务提交（Spark，Hive），UDF，功能，资源管理和智能诊断。 产品特点 脚本编辑器：支持多语言，自动完成，语法突出显示和SQL语法错误纠正。 计算引擎：Scriptis基于Linkis，可与Spark，Hive，Python等多个计算引擎连接。 运行时功能：完整的作业生命周期显示和智能诊断。 结果集：多个结果集支持，自定义结果集别名和一键式可视化。 数据库服务：用于数据库管理和文件（CVS，Excel）导入表或从表导出的功能。 上下文：UDF，自定义变量以及函数的管理和共享。 控制台：引擎参数，任务/引擎管理和资源隔离/显示的自定义设置。 快速开始 阅读快速入门 与类似调度系统的比较 文件资料 社区 如果您希望立即得到答复，请向我们提出问题，或通过微信和QQ扫描以下QR码加入我们的小组： 执照 Scriptis受Apache 2.0许可。 有关详细信息，请参见LICENSE文件。
推荐开源项目：WeDataSphere - 智慧数据服务平台
gitblog_00070的博客
04-14 883
推荐开源项目：WeDataSphere - 智慧数据服务平台 项目地址:https://gitcode.com/WeBankFinTech/WeDataSphere WeDataSphere 是一款由微众银行金融科技团队开发的开源大数据处理和应用框架，旨在简化数据分析流程，提高数据驱动决策的效率。该项目将复杂的数据集成、治理、分析和应用任务封装为模块化服务，让用户可以更加专注于业务逻辑，而非底层数...
你好，WeDataSphere！
ocean_zhc的博客
11-17 3471
你好，WeDataSphere！ 应用场景 由于公司大数据起步较晚，目前还没有成熟的大数据开发平台，开发还停留在传统阶段，通过传统开发工具IntelliJ IDEA、PyCharm等来进行相应的业务开发，通过一些协议上传服务器，然后通过一些开源工具，诸如XXL-JOB、DolphinScheduler等来进行跑批数据。此外公司业务部门众多，没有统一的开发平台作为支撑，导致现有公司整体资源利用率不高，并产生过多的独立数据服务系统，规范化开发在众多部门中难以开展。 效率低下的工具开发、众多数据孤岛、信息无法互
wedata系列------从0开始搭建一套数据处理系统
04-26 296
pandas，spark 转载于:https://www.cnblogs.com/wedata/p/5433655.html
云原生大数据平台，基于 Kubernetes 的资源安装部署开源大数据组件，实现开源大数据平台的容器化运行
12-15
本文将详细讲解基于 Kubernetes 的云原生大数据平台的安装部署及其实现开源大数据组件的容器化运行。 **云原生概念** 云原生（Cloud Native）是一种构建和运行应用程序的方法，强调利用云计算的优势，如弹性、可...
CloudEon基于Kubernetes资源安装部署开源大数据组件，实现开源大数据平台的容器化运行，可减少对于底层资源的运维关注
05-13
CloudEon是一个云原生的大数据平台，其核心特性是利用Kubernetes的资源管理能力来部署和运行开源大数据组件。Kubernetes（简称K8s）是目前最流行的容器编排系统，它允许开发者和运维人员在分布式环境中高效地管理和...
基于 Kubernetes 的资源安装部署开源大数据组件，实现开源大数据平台的容器化运行，您可减少对于底层资源的运维关注
最新发布
08-27
CloudEon 将基于 Kubernetes 的资源安装部署开源大数据组件，实现开源大数据平台的容器化运行，您可减少对于底层资源的运维关注
基于Kubernetes的资源安装部署开源大数据组件，实现开源大数据平台的容器化运行，可减少对于底层资源的运维关注
03-13
CloudEon将基于Kubernetes的资源安装部署开源大数据组件，实现开源大数据平台的容器化运行，可减少对于底层资源的运维关注
基于Kubernetes的CloudEon开源大数据平台容器化部署解决方案
03-25
项目概述：CloudEon 是一种基于 Kubernetes 的开源大数据...CloudEon 旨在通过 Kubernetes 对开源大数据组件进行一键式部署，实现资源的高效安装与运行，极大减轻对底层资源运维的关注，助力企业专注于核心业务发展。
数据脱敏系统功能点
06-14
数据脱敏系统功能点 可用于系统需求调研、客户交流、产品功能设计前的参考 弱弱说一句第一次尝试csdn分享，大家别喷
wedata系列------从0开始搭建一套数据化运营系统
04-26 143
404 转载于:https://www.cnblogs.com/wedata/p/5433683.html
dss_linkis(dataspherestudio-1.1.1、linkis-1.1.1)拓展工具安装——数据交换工具Exchangis
weixin_44382736的博客
01-27 1293
dss_linkis(dataspherestudio-1.1.1、linkis-1.1.1)拓展工具安装——数据交换工具Exchangis
开源里程碑 | 数据应用开发管理集成框架 DataSphere Studio 1.1.0 新版本发布
weixin_39709847的博客
07-05 859
DataSphere Studio 简介DataSphere Studio（简称 DSS）是微众银行自研的数据应用开发管理集成框架。基于插拔式的集成框架设计，及计算中间件 Linkis ，可轻松接入上层各种数据应用系统，让数据开发变得简洁又易用。在统一的 UI 下，DataSphere Studio 以工作流式的图形化拖拽开发体验，将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等，数据应用开发全流程场景需求。DSS 通过插拔式的集成框架设计，让用户可以根据需要，简单快速替
DataSphere Studio 1.1.0的安装
qq_44665283的博客
11-16 4310
DataSphere Studio一键安装文档 一、使用前环境准备 a. 基础软件安装 Linkix需要的命令工具（在正式安装前，脚本会自动检测这些命令是否可用，如果不存在会尝试自动安装，安装失败则需用户手动安装以下基础shell命令工具）： telnet tar sed dos2unix mysql yum java unzip expect yum install -y telnet tar sed dos2unix mysql unzip expect 需要安
Nebula Graph 在微众银行数据治理业务的实践
weixin_44324814的博客
12-22 1505
本文为微众银行大数据平台：周可在 nMeetup 深圳场的演讲这里文字稿，演讲视频参见：B站 自我介绍下，我是微众银行大数据平台的工程师：周可，今天给大家分享一下 Nebula Graph 在微众银行 WeDataSphere 的实践情况。 先来说下图数据库应用背景。 WeDataSphere 图数据库架构是基于 JanusGraph 搭建，正如邸帅在演讲《NebulaGraph - WeDataSphere 开源介绍》中提及的那样，主要用于解决微众银行数据治理中的数据血缘问题。在使用 Janus.
技术干货 | Linkis实践：新引擎实现流程解析
minidrupal的专栏
06-17 1011
本文主要基于 Apache Linkis 1.0.3，对 1.1.x 之后的版本也应适用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值