hadoop是什么?
海量数据的存储(HDFS)
海量数据的分析(MapReduce)
资源管理调度(YARN)
hadoop核心
HDFS: Hadoop Distributed File System 分布式文件系统
YARN: Yet Another Resource Negotiator 资源管理调度系统
HDFS的架构
主从结构
主节点,
只有一个: namenode
从节点,
有很多个: datanode
namenode负责:
接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系,block与datanode之间关系
datanode负责:
存储文件 文件被分成block存储在磁盘上 为保证数据安全,文件会有多个副本