hadoop学习

hadoop是什么

一个支持数据密集型分布式应用的开源软件框架。

hadoop框架的核心

hadoop框架的最核心设计是hdfs和map reduce。hdfs为海量的数据提供存储，map reduce为海量的数据提供计算。

hadoop相关项目

• hadoop common: 包含了hdfs，mapreduce和其他项目的公共内容
• hdfs: hadoop分布式文件系统
• mapreduce：并行计算框架
• hbase：分布式nosql列数据库
• hive：构建在hadoop上的数据仓库，通过hiveql为用户提供数据的查询分析。
• mahout: 机器学习算法软件包
• sqoop：数据转换工具，在结构化数据（如关系型数据库）和hadoop的数据做转换。
• zookeepr：分布式锁设施
• avro：数据序列化与传输工具