-
Hive - 早期的sql -> mapreduce 翻译器,减轻程序员的负担。而且hive支持数据从本地系统加载到hive表,也支持从hdfs把文件加载到hive表。问题在于,效率不高。
hive配套的工具包括hive cli 和beeline。两者都可以在命令行下执行hive命令,但是前者据说要被淘汰了。
-
HBASE - NoSQL 数据库系统,底层还是依赖于hdfs.
-
Impala - 一个比较快的sql引擎,绕开map reduce机制,直接访问hdfs系统来获取数据。
-
sqoop2 -一个ETL工具,而且支持map-reduce机制,来并发抽取数据。
-
Ansible - 一个自动化部署工具,考虑到今后大数据平台50台节点的管理,没有一个自动化部署工具肯定是不行的。
转载于:https://my.oschina.net/pearma/blog/818668