大数据常见英文词汇(三)之常见框架和工具(待续)
-
Hadoop(分布式系统基础架构)
-
HDFS(Hadoop分布式文件系统)
-
Mapreduce(分布式计算框架)
-
HBASE(分布式列存数据库)
-
Zookeeper(分布式协作服务)
-
HIVE(数据仓库)
-
Pig(ad-hoc脚本 数据分析工具)
-
Sqoop(数据ETL/同步工具)
-
Flume(日志收集工具)
-
Mahout(数据挖掘算法库)
-
Oozie(工作流调度器)
-
Yarn(分布式资源管理器)
-
Mesos(分布式资源管理器)
-
Tachyon(分布式内存文件系统)
-
Tez(DAG计算模型,一般用于hive中)
-
Spark(基于内存DAG计算模型框架)
-
Giraph(图计算模型)
-
GraphX(图计算模型)
-
MLlib(机器学习库)
-
Streaming(流计算模型)
-
Kafka(分布式消息队列)
-
Phoenix(hbase的sql接口)
Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进行查询等操作。
-
ranger(安全管理工具)
-
knox(hadoop安全网关)
-
falcon(数据生命周期管理工具)
-
Ambari(安装部署配置管理工具)