hadoop分布式数据库--佘响平2.1

hadoop是什么？

海量数据的存储（HDFS）

        海量数据的分析（MapReduce）

        资源管理调度（YARN）

hadoop核心

        HDFS: Hadoop Distributed File System 分布式文件系统

        YARN: Yet Another Resource Negotiator    资源管理调度系统

HDFS的架构

主从结构

主节点，

只有一个: namenode

从节点，

有很多个: datanode

namenode负责：

接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系，block与datanode之间关系

datanode负责：

存储文件 文件被分成block存储在磁盘上 为保证数据安全，文件会有多个副本

 

 指令

-put上传文件该命令选项表示把linux上的文件复制到hdfs中，如图4-11所示。.图4-11-copyFromLocal从本地复制操作与-put一致，不再举例。-moveFromLocal从本地移动该命令表示把文件从linux上移动到hdfs中，如图4-12所示。图4-12getmerge合并到本地该命令选项的含义是把hdfs指定目录下的所有文件内容合并到本地linux的文件中，如图4-13所示。

图4-13-cat查看文件内容该命令选项是查看文件内容，如图4-14所示。图4-14-text查看文件内容该命令选项可以认为作用和用法与-cat相同，此处略。-mkdir创建空白文件夹该命令选项表示