hadoop是什么?
what is Apache Hadoop?
The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing.
解决问题
1.海量数据的存储(HDFS)
2.海量数据的分析(MapReduce) 分布式计算模型
3.资源管理调度(YARN) storm,可以运行在YARN上
4.SPARK
5.MPI
作者:Doug Cutting, 设计的框架:Nuts, Lucene, CDH公司。 受Google三篇论文的启发(GFS,MapReduce, BigTable)
Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。
lHDFS: Hadoop Distributed File System分布式文件系统
lMapReduce:并行程序框架
lYARN: Yet Another Resource Negotiator 资源管理调度系统
HDFS的架构
主从结构:主节点,只有一个,namenode; 从节点,有很多个:datanode
namenode负责:接收用户操作请求;维护文件系统的目录结构;管理文件与block之间关系,block与datanode之间的联系
datanode负责:存储文件;文件被分成block存储在磁盘上;为保证数据安全,文件会有多个副本
YARN的老大是ResourceManager,小弟是NodeManager