大数据平台工具集

为什么80%的码农都做不了架构师？>>>   

1. Hive - 早期的sql -> mapreduce 翻译器，减轻程序员的负担。而且hive支持数据从本地系统加载到hive表，也支持从hdfs把文件加载到hive表。问题在于，效率不高。

   hive配套的工具包括hive cli 和beeline。两者都可以在命令行下执行hive命令，但是前者据说要被淘汰了。

2. HBASE - NoSQL 数据库系统，底层还是依赖于hdfs.

3. Impala - 一个比较快的sql引擎，绕开map reduce机制，直接访问hdfs系统来获取数据。

4. sqoop2 -一个ETL工具，而且支持map-reduce机制，来并发抽取数据。

5. Ansible - 一个自动化部署工具，考虑到今后大数据平台50台节点的管理，没有一个自动化部署工具肯定是不行的。

转载于:https://my.oschina.net/pearma/blog/818668