近期关注的大数据开源项目

訾零

已于 2022-02-09 18:21:42 修改

阅读量2.6k

点赞数 1

分类专栏： BigData 文章标签： big data apache zookeeper

于 2022-02-08 11:40:33 首次发布

本文链接：https://blog.csdn.net/lingeio/article/details/122820930

版权

截止至 2022-02-08

计算引擎

Service	Git Star	Contributors	Release	License
Apache Flink	18.1k	1005	v1.14.3	Apache-2.0

Apache Flink：https://github.com/apache/flink

数据开发

Service	Git Star	Contributors	Release	License
StreamX	810	23	v1.2.1	Apache-2.0
Apache Seatunnel	3k	42	v1.5.7	Apache-2.0
Apache Zeppelin	5.6k	362	v0.10.1-rc1	Apache-2.0
DataSphereStudio	1.9k	26	v1.0.0	Apache-2.0
Apache Beam	5.3k	879	v2.36.0	Apache-2.0
LarkMidTable	686	14		Apache-2.0

StreamX：https://github.com/streamxhub/streamx

Apache Seatunnel（孵化中）：https://github.com/apache/incubator-seatunnel

Apache Zeppelin ：https://github.com/apache/zeppelin

DataSphereStudio：https://github.com/WeBankFinTech/DataSphereStudio

Apache Beam：https://github.com/apache/beam

LarkMidTable：https://github.com/wxgzgl/LarkMidTable

数据湖

Service	Git Star	Contributors	Release	License
Apache Iceberg	2.4k	226	v0.13.0	Apache-2.0
Apache Hudi

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

訾零

关注关注

1
点赞
踩
9

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

大数据相关开源项目汇总

Null的博客

12-06

2541

调度与管理服务 **Azkaban **是一款基于Java编写的任务调度系统任务调度，来自LinkedIn公司，用于管理他们的Hadoop批处理工作流。Azkaban根据工作的依赖性进行排序，提供友好的Web用户界面来维护和跟踪用户的工作流程。 **YARN **是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性...

走进大数据开源项目 [作者：翁岩青]

“大数据社区”博客

11-08

2642

最近大数据领域最火的消息莫过于Pivotal兑现了其年初对于开源其大数据核心产品GemFire，HAWQ，Greemplum DB的承诺。这个消息也让Pivotal在国内技术社区风风光光的火了一把，程序猿们可以看到真正的企业级数据仓库是如何设计和实现的。与此同时，开源社区中也存在很多类似的优秀大数据相关项目，涵盖了分布式数据存储与计算，数据处理，数据仓库，机器学习等与数据

参与评论您还未登录，请先登录后发表或查看评论

开源大数据利器汇总

weixin_33786077的博客

04-10

243

类别名称官网备注查询引擎 Phoenix http://phoenix.incubator.apache.org/ Salesforce公司出品，ApacheHBase之上的一个SQL中间层，完全使用Java编写 Stinger http://hortonworks.com/labs/stinger/ http://tez.in...

2019大数据开源项目汇总

一个有趣、有料、有内涵的地方!

10-09

1357

电信大数据项目以通话数据去展示如何处理并分析大数据，并最终通过图表可视化展示。 github地址：https://github.com/LittleLawso...

大数据开源组件图谱------非常详细

lcm_linux的博客

11-25

2935

文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务...

盘点大数据生态圈，那些繁花似锦的开源项目

周红伟讲AI

09-11

3052

盘点大数据生态圈，那些繁花似锦的开源项目 发表于12小时前| 2466次阅读| 来源CSDN| 6 条评论| 作者仲浩 大数据开源HadoopSpark 摘要：过去数年，大数据开源生态圈得到了长足的发展——在数据的整个生命周期中，各种开源技术框架林立。而在这些开源技术的基础上，业内涌现出一系列令人敬佩的大数据架构实践。随着互联网和移动互联网的发展，时下我们

基于Kubernetes的CloudEon开源大数据平台容器化部署解决方案

03-25

项目概述：CloudEon 是一种基于 Kubernetes 的开源大数据...CloudEon 旨在通过 Kubernetes 对开源大数据组件进行一键式部署，实现资源的高效安装与运行，极大减轻对底层资源运维的关注，助力企业专注于核心业务发展。

大数据开源框架技术汇总

L, there!

07-15

9293

主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS...

开源大数据项目推荐：引领数据时代的创新力量

weixin_48313678的博客

06-22

1121

开源大数据项目的兴起，标志着技术创新和协作的新纪元。通过参与和贡献开源项目，程序员和数据科学家不仅可以提升自身技能，还能推动整个行业的发展。希望本文推荐的热门开源项目，能够激发更多人参与到开源大数据的行列中，共同探索数据时代的无限可能。

大数据组件图谱---比较齐全

最新发布

gitblog_00623的博客

08-16

306

大数据实践开源项目教程项目地址:https://gitcode.com/gh_mirrors/bi/BigData-In-Practice 项目介绍 BigData-In-Practice 是一个专注于大数据技术实践的开源项目，旨在通过实际案例和代码示例，帮助开发者更好地理解和应用大数据技术。项目涵盖了从数据收集、存储、处理到分析和可视化的全流程，适合大数据初学者和有一定基础的开发者。项目快速...

一共81个，开源大数据处理工具汇总（上）

ShiZhixin的专栏

07-14

4139

作者：大数据女神-诺蓝（微信公号：dashujunvshen）。本文是36大数据专稿，转载必须标明来源36大数据。本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。查询引擎一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache

gitblog_00018的博客

06-08

467

大数据毕业设计：500个开源项目推荐（源码+论文）✅

十多年程序猿资深互联网人，目前专注于Python/Java/大数据项目解决方案制定，提供各行业各编程语言的全套开发服务，喜爱code，喜爱分享，生命不止，编码不息！

12-15

6538

大数据毕业设计：500个开源项目推荐（源码+论文）✅

探秘高效大数据处理：揭秘开源项目【BigData】

gitblog_00027的博客

05-16

315

探秘高效大数据处理：揭秘开源项目【BigData】 databaseBlazegraph High Performance Graph Database项目地址:https://gitcode.com/gh_mirrors/dat/database 1、项目介绍在如今的数字化时代，数据已成为企业的重要资产。对于海量数据的处理和分析，我们常常需要依赖强大的工具来支撑。这就是我们要向您推荐的开源项...

推荐的五个“非主流”开源大数据技术项目

04-16

711

大数据的生态系统如今已经非常庞大，涌现大量主流数据处理框架如Hadoop、Spark、Flink、Google的Tensorflow以及其他不计其数的Apache开源项目(最受欢迎的十个开源大数据技术)。今天我们要推荐的五个“非主流”开源大数据技术项目，在某些特定的应用场合，往往能助您出奇制胜。一、Luigi Luigi是Spotify开发的数据管线批处理工具，热度正在不断飙升。Luigi的定...

收藏！2024 年最具潜力 44 个顶级开源项目，涵盖 11 类 AI 学习框架、平台_序列大数据的智能计算 开源项目(1)

2401_84181626的博客

05-07

1958

它可以实现大部分机器学习，如：聚类、分类、回归等算法，并允许将数据加载至集群内存，多次对其进行查询，所以非常适合用于机器学习算法。除此之外，它还结合了高性能和修补低级模型细节的能力，例如：同时使用高级 api，并使用 NVIDIA 的 CUDA 工具包实现自己的自定义操作符。最后，MLflow 的模型组件提供了用于管理和部署模型的工具。MLflow 是机器学习生命周期的开源平台，开放接口，可与任何机器学习库、算法、部署工具或编程语言一起使用，基于 REST API 和简单的数据格式而构建。