1 、文件存储 : HDFS、 Tachyon 、KFS S3
2 、离线计算 : Hadoop MP、 Spark
3 、流式(实时)计算 : Storm、 Spark Streaming、Flink、 S4
4 、资源管理 : YARM、 Mesos
5 、NOSQL数据库 : HBase 、 Redis、 MongoDB
6 、日志收集 : Flume、 Scribe、 Logstash
7 、消息队列 : Kafka、RabbitMQ、 StormMQ
8 、查询分析 : Hive、 Impala、 Presto、 SparkSQL、 Kylin、 Druid
9 、分布式协调服务 : Zookeeper
10、集群管理与监控 : Ambari、 Ganglia、 Nagios、 Cloudera Manager
11、数据挖掘 : 机器学习 、 Spark MLLib
12、数据同步 : Sqoop 、 DataX
13、任务调度 : Oozie、 azkaban
14、数据可视化 : Kibana、 grafana
15、NewSQL : Tidb, cockra
16、时序数据库 : openTSDB, InfluxDB
整理总结 --- 大数据开源框架分类
最新推荐文章于 2023-10-18 14:06:28 发布