1.Hadoop生态系统
- Zookeeper分布式监控中心:
- HDFS的NameNode和MapReduce高可用。
- zookeeper内部维护一个内存数据库。
- 存储Hbase一些数据(后续再谈)
- MapReduce:分布式计算框架
- Hive:数据仓库
- HBase:非关系型数据库
- HDFS:分布式文件系统
- Flume:日志收集工具(离线分析,离线数据处理)
- Sqoop:关系数据ETL工具(非关系型数据与关系型数据转换工具)
- Mahout:数据挖掘(将机器学习算法通过MapReduce做开源实现,可以通过MapReduce进行分析,提高效率)
- Pig(淘汰):数据流处理语言,通过编写sql脚本分析HDFS数据。
- Shark(淘汰):类似于Pig。
2.HBase简介
Hbase-Hadoop Database是一个高可用、高性能、面向列、可伸缩、实时读写的分布式数据库 。
可伸缩:可根据负载增减节点。
面向列:相对于行式数据库,空间利用率高。
利用HadoopHDFS作为其文件存储系统