hadoop是什么?
海量数据的存储(HDFS)
海量数据的分析(MapReduce)
资源管理调度(YARN)
hadoop核心
HDFS: Hadoop Distributed File System 分布式文件系统
YARN: Yet Another Resource Negotiator 资源管理调度系统
HDFS的架构
主从结构
主节点,
只有一个: namenode
从节点,
有很多个: datanode
namenode负责:
接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系,block与datanode之间关系
datanode负责:
存储文件 文件被分成block存储在磁盘上 为保证数据安全,文件会有多个副本
指令
-put上传文件该命令选项表示把linux上的文件复制到hdfs中,如图4-11所示。.图4-11-copyFromLocal从本地复制操作与-put一致,不再举例。-moveFromLocal从本地移动该命令表示把文件从linux上移动到hdfs中,如图4-12所示。图4-12getmerge合并到本地该命令选项的含义是把hdfs指定目录下的所有文件内容合并到本地linux的文件中,如图4-13所示。
图4-13-cat查看文件内容该命令选项是查看文件内容,如图4-14所示。图4-14-text查看文件内容该命令选项可以认为作用和用法与-cat相同,此处略。-mkdir创建空白文件夹该命令选项表示