Hadoop 二日目

一、Hadoop クラスターのセットアップ

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。

二、HDFSの概要

实现分布式文件存储，提供分布式文件读写。

HDFS适合：存储大数据量文件的场景；离线的场景、延迟性要求不高的场景；读写速度要求不高的场景；一次写入，多次读取的场景。

HDFS不适合：一条数据一条数据存储的场景（更适合使用数据库）；读写速度要求较高的场景（更适合使用分布式硬盘、内存存储）；频繁修改的场景（更适合使用内存存储）。

HDFS文件系统可存储超大文件，时效性稍差。 

HDFS具有硬件故障检测和自动快速恢复功能。

HDFS为数据存储提供很强的扩展能力。

三、HDFSアーキテクチャ

HDFS采用Master/Slave架构

一个HDFS集群有两个重要的角色，分别是Namenode和Datanode。

 HDFS的四个基本组件:HDFS Client、NameNode、DataNode和Secondary NameNode

四、Clientの機能

Client是介于用户和Server之间的，用户操作客户端向服务端提交请求需要经过客户端，客户端供用户开发命令/代码，并将命令提交给服务端执行，还能将服务端运行的结果返回给用户。

五、NameNodeの機能

管理节点

管理所有数据的安全

配置副本策略

管理元数据

六、共通コマンド

-ls 格式： hadoop fs -ls URI

作用：类似于Linux的ls命令，显示文件列表

mkdir 格式 ： hadoop fs –mkdir [-p]

作用 : 以中的URI作为参数，创建目录。使用-p参数可以递归创建目录

mv 格式 ： hadoop fs -mv <scr> <dst>

作用： 将hdfs上的文件从原路径src移动到目标路径dst,该命令不能跨文件系统

rm 格式： hadoop fs -rm [-r] [-skipTrash] URI [URI]

作用： 删除参数指定的文件和目录，参数可以有多个，删除目录需要加-r参数 如果指定-skipTrash选项，那么在回收站可用的情况下，该选项将跳过回收站而直接删除文件； 否则，在回收站可用时，在HDFS Shell 中执行此命令，会将文件暂时放到回收站中。

cp 格式: hadoop fs -cp <scr> <dst>

作用： 将文件拷贝到目标路径中

cat 格式: hadoop fs -cat

作用： 将参数所指示的文件内容输出到控制台