大数据领域常用的中间件

数据存储技术

关系型数据库

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
关系型数据库	Active	MySQL	prefer	数据库管理	数据库	8.0		High
关系型数据库	Active	PostgreSQL	prefer	数据库管理	数据库	13.0		High
关系型数据库	Active	MariaDB	approved	数据库管理	数据库	10.5		Moderate
关系型数据库	Active	SQLite	approved	数据库管理	数据库	3.34.1		High
关系型数据库	Active	CockroachDB	approved	数据库管理	分布式数据库	21.1		Moderate

NoSQL数据库

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
NoSQL数据库	Active	MongoDB	prefer	数据库管理	文档数据库	4.4		High
NoSQL数据库	Active	Cassandra	prefer	数据库管理	列数据库	3.11		Moderate
NoSQL数据库	Active	Redis	prefer	数据库管理	键值数据库	6.2		High
NoSQL数据库	Active	CouchDB	approved	数据库管理	文档数据库	3.1.1		Moderate
NoSQL数据库	Active	Neo4j	approved	数据库管理	图数据库	4.2		Moderate

数据湖

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
数据湖	Active	Apache Hadoop	prefer	大数据存储	数据湖	3.3.1		High
数据湖	Active	Apache Hudi	approved	大数据存储	数据湖	0.8.0		Moderate
数据湖	Active	Delta Lake	approved	大数据存储	数据湖	1.0.0		Moderate
数据湖	Active	Apache Iceberg	approved	大数据存储	数据湖	0.11.0		Moderate

分布式文件系统

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
分布式文件系统	Active	HDFS	prefer	大数据存储	分布式文件系统	3.3.1		High
分布式文件系统	Active	Ceph	approved	分布式存储	分布式文件系统	16.2.6		Moderate
分布式文件系统	Active	GlusterFS	approved	分布式存储	分布式文件系统	9.3		Moderate
分布式文件系统	Active	Alluxio	approved	分布式存储	分布式文件系统	2.5.0		Moderate
分布式文件系统	Active	JuiceFS	approved	分布式存储	分布式文件系统	1.0.1		Moderate

列式数据库

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
列式数据库	Active	Apache HBase	prefer	大数据存储	列式数据库	2.3.4		High
列式数据库	Active	Apache Kudu	approved	大数据存储	列式数据库	1.14.0		Moderate
列式数据库	Active	ClickHouse	prefer	大数据存储	列式数据库	21.3		High
列式数据库	Active	Druid	approved	大数据存储	列式数据库	0.20.1		Moderate

数据处理和计算技术

批处理框架

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
批处理框架	Active	Apache Spark	prefer	大数据处理	批处理框架	3.1.2		High
批处理框架	Active	Apache Flink	prefer	大数据处理	批处理框架	1.13.2		High
批处理框架	Active	Apache Beam	approved	大数据处理	批处理框架	2.28.0		Moderate
批处理框架	Active	Apache Hadoop MapReduce	approved	大数据处理	批处理框架	3.3.1		Moderate
批处理框架	Active	Dask	approved	大数据处理	批处理框架	2021.6.2		Moderate

流式处理框架

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
流式处理框架	Active	Apache Kafka	prefer	实时数据处理	流式处理框架	2.8.0		High
流式处理框架	Active	Apache Storm	approved	实时数据处理	流式处理框架	2.2.0		Moderate
流式处理框架	Active	Apache Pulsar	approved	实时数据处理	流式处理框架	2.7.2		Moderate
流式处理框架	Active	Apache Samza	approved	实时数据处理	流式处理框架	1.6.0		Moderate
流式处理框架	Active	Flume	approved	实时数据处理	流式处理框架	1.9.0		Moderate

数据流转工具

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
数据流转工具	Active	Apache NiFi	prefer	数据集成	数据流转工具	1.14.0		High
数据流转工具	Active	Logstash	approved	数据集成	数据流转工具	7.13.2		Moderate
数据流转工具	Active	Fluentd	approved	数据集成	数据流转工具	1.13.3		Moderate

| 数据流转工具 | Active | Apache Kafka

Connect | approved | 数据集成 | 数据流转工具 | 2.8.0 | | Moderate |
| 数据流转工具 | Active | StreamSets | approved | 数据集成 | 数据流转工具 | 3.21.0 | | Moderate |

事件驱动架构

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
事件驱动架构	Active	Apache Kafka	prefer	实时数据处理	事件驱动架构	2.8.0		High
事件驱动架构	Active	RabbitMQ	approved	实时数据处理	事件驱动架构	3.8.16		Moderate
事件驱动架构	Active	NATS	approved	实时数据处理	事件驱动架构	2.2.2		Moderate
事件驱动架构	Active	Apache Pulsar	approved	实时数据处理	事件驱动架构	2.7.2		Moderate
事件驱动架构	Active	Eventuate	approved	实时数据处理	事件驱动架构	0.23.0		Moderate

数据集成和ETL工具

ETL工具

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
ETL工具	Active	Talend Open Studio	prefer	数据集成	ETL工具	7.3.1		High
ETL工具	Active	Apache NiFi	prefer	数据集成	ETL工具	1.14.0		High
ETL工具	Active	Pentaho Data Integration	approved	数据集成	ETL工具	9.1		Moderate
ETL工具	Active	Airbyte	approved	数据集成	ETL工具	0.29.0		Moderate
ETL工具	Active	Apache Hop	approved	数据集成	ETL工具	0.99		Moderate

数据集成平台

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
数据集成平台	Active	Mule ESB	approved	数据集成	数据集成平台	4.3		Moderate
数据集成平台	Active	Apache Camel	prefer	数据集成	数据集成平台	3.9.0		High
数据集成平台	Active	WSO2 ESB	approved	数据集成	数据集成平台	6.6.0		Moderate
数据集成平台	Active	Spring Cloud Data Flow	approved	数据集成	数据集成平台	2.8.1		Moderate
数据集成平台	Active	Talend ESB	approved	数据集成	数据集成平台	7.3.1		Moderate

实时数据管道

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
实时数据管道	Active	Apache Kafka	prefer	实时数据处理	实时数据管道	2.8.0		High
实时数据管道	Active	Apache Flink	prefer	实时数据处理	实时数据管道	1.13.2		High
实时数据管道	Active	Apache Pulsar	approved	实时数据处理	实时数据管道	2.7.2		Moderate
实时数据管道	Active	StreamSets Data Collector	approved	实时数据处理	实时数据管道	3.21.0		Moderate
实时数据管道	Active	Confluent Kafka	approved	实时数据处理	实时数据管道	6.2.0		Moderate

数据分析和可视化工具

商业智能工具

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
商业智能工具	Active	Metabase	prefer	数据分析和可视化	商业智能工具	0.39.4		High
商业智能工具	Active	Apache Superset	approved	数据分析和可视化	商业智能工具	1.3.0		Moderate
商业智能工具	Active	Grafana	prefer	数据分析和可视化	商业智能工具	8.0.5		High
商业智能工具	Active	Redash	approved	数据分析和可视化	商业智能工具	10.0.0		Moderate
商业智能工具	Active	PowerBI Embedded	approved	数据分析和可视化	商业智能工具			Moderate

数据挖掘和机器学习平台

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
数据挖掘和机器学习平台	Active	TensorFlow	prefer	数据分析和机器学习	数据挖掘和机器学习平台	2.5.0		High
数据挖掘和机器学习平台	Active	PyTorch	prefer	数据分析和机器学习	数据挖掘和机器学习平台	1.9.0		High
数据挖掘和机器学习平台	Active	Scikit-learn	approved	数据分析和机器学习	数据挖掘和机器学习平台	0.24.2		Moderate
数据挖掘和机器学习平台	Active	Apache Mahout	approved	数据分析和机器学习	数据挖掘和机器学习平台	14.1		Moderate
数据挖掘和机器学习平台	Active	H2O.ai	approved	数据分析和机器学习	数据挖掘和机器学习平台	3.32.0		Moderate

数据分析库和框架

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
数据分析库和框架	Active	Pandas	prefer	数据分析	数据分析库和框架	1.2.5		High
数据分析库和框架	Active	NumPy	prefer	数据分析	数据分析库和框架	1.21.0		High
数据分析库和框架	Active	Apache Spark	prefer	大数据处理	数据分析库和框架	3.1.2		High
数据分析库和框架	Active	Dask	approved	大数据处理	数据分析库和框架	2021.6.2		Moderate
数据分析库和框架	Active

数据安全和隐私技术

数据加密技术

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
数据加密技术	Active	OpenSSL	prefer	数据加密	数据加密技术	1.1.1		High
数据加密技术	Active	Bouncy Castle	approved	数据加密	数据加密技术	1.68		Moderate
数据加密技术	Active	Libsodium	approved	数据加密	数据加密技术	1.0.18		Moderate
数据加密技术	Active	Keycloak	approved	数据加密	数据加密技术	12.0.4		Moderate
数据加密技术	Active	NaCl	approved	数据加密	数据加密技术	20110221		Moderate

访问控制和身份认证

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
访问控制和身份认证	Active	Keycloak	prefer	访问控制和身份认证	访问控制和身份认证	12.0.4		High
访问控制和身份认证	Active	OpenAM	approved	访问控制和身份认证	访问控制和身份认证	14.6.3		Moderate
访问控制和身份认证	Active	Gluu	approved	访问控制和身份认证	访问控制和身份认证	4.2.3		Moderate
访问控制和身份认证	Active	WSO2 Identity Server	approved	访问控制和身份认证	访问控制和身份认证	5.11.0		Moderate
访问控制和身份认证	Active	CAS	approved	访问控制和身份认证	访问控制和身份认证	6.4.0		Moderate

数据掩码和脱敏

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
数据掩码和脱敏	Active	Apache Ranger	approved	数据安全	数据掩码和脱敏	2.1.0		Moderate
数据掩码和脱敏	Active	DataHelm	approved	数据安全	数据掩码和脱敏	1.0.0		Moderate
数据掩码和脱敏	Active	MaskingTools	approved	数据安全	数据掩码和脱敏	3.5.0		Moderate
数据掩码和脱敏	Active	DataVeil	approved	数据安全	数据掩码和脱敏	4.0.5		Moderate
数据掩码和脱敏	Active	jDBMask	approved	数据安全	数据掩码和脱敏	1.0.0		Moderate

数据治理和元数据管理

数据目录和元数据管理工具

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
数据目录和元数据管理工具	Active	Apache Atlas	prefer	数据治理和元数据管理	数据目录和元数据管理工具	2.2.0		High
数据目录和元数据管理工具	Active	DataHub	approved	数据治理和元数据管理	数据目录和元数据管理工具	0.8.0		Moderate
数据目录和元数据管理工具	Active	Amundsen	approved	数据治理和元数据管理	数据目录和元数据管理工具	3.10.0		Moderate
数据目录和元数据管理工具	Active	Alation	approved	数据治理和元数据管理	数据目录和元数据管理工具	2021.2		Moderate
数据目录和元数据管理工具	Active	Collibra	approved	数据治理和元数据管理	数据目录和元数据管理工具	2021.1		Moderate

数据质量工具

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
数据质量工具	Active	Talend Data Quality	approved	数据治理和元数据管理	数据质量工具	7.3.1		Moderate
数据质量工具	Active	Apache Griffin	approved	数据治理和元数据管理	数据质量工具	0.6.0		Moderate
数据质量工具	Active	Deequ	approved	数据治理和元数据管理	数据质量工具	1.2.2		Moderate
数据质量工具	Active	Great Expectations	approved	数据治理和元数据管理	数据质量工具	0.13.0		Moderate
数据质量工具	Active	DataCleaner	approved	数据治理和元数据管理	数据质量工具	5.2.0		Moderate

数据治理平台

Category	Solution Status	Solution	Solution Space Status	Applicable Scope	Current Usage Scope	Version	Comments	GitHub Community Activity
数据治理平台	Active	Apache Atlas	prefer	数据治理	数据治理平台	2.2.0		High
数据治理平台	Active	DataHub	approved	数据治理	数据治理平台	0.8.0		Moderate
数据治理平台	Active	Collibra	approved	数据治理	数据治理平台	2021.1		Moderate
数据治理平台	Active	Alation	approved	数据治理	数据治理平台	2021.2		Moderate
数据治理平台	Active	Talend Data Governance	approved	数据治理	数据治理平台	7.3.1		Moderate