一、Hadoop クラスターのセットアップ
HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。
二、HDFSの概要
实现分布式文件存储,提供分布式文件读写。
HDFS适合:存储大数据量文件的场景;离线的场景、延迟性要求不高的场景;读写速度要求不高的场景;一次写入,多次读取的场景。
HDFS不适合:一条数据一条数据存储的场景(更适合使用数据库);读写速度要求较高的场景(更适合使用分布式硬盘、内存存储);频繁修改的场景(更适合使用内存存储)。
HDFS文件系统可存储超大文件,时效性稍差。
HDFS具有硬件故障检测和自动快速恢复功能。
HDFS为数据存储提供很强的扩展能力。
三、HDFSアーキテクチャ
HDFS采用Master/Slave架构
一个HDFS集群有两个重要的角色,分别是Namenode和Datanode。
HDFS的四个基本组件:HDFS Client、NameNode、DataNode和Secondary NameNode
四、Clientの機能
Client是介于用户和Server之间的,用户操作客户端向服务端提交请求需要经过客户端,客户端供用户开发命令/代码,并将命令提交给服务端执行,还能将服务端运行的结果返回给用户。
五、NameNodeの機能
管理节点
管理所有数据的安全
配置副本策略
管理元数据
六、共通コマンド
-ls 格式: hadoop fs -ls URI
作用:类似于Linux的ls命令,显示文件列表
mkdir 格式 : hadoop fs –mkdir [-p]
作用 : 以中的URI作为参数,创建目录。使用-p参数可以递归创建目录
mv 格式 : hadoop fs -mv <scr> <dst>
作用: 将hdfs上的文件从原路径src移动到目标路径dst,该命令不能跨文件系统
rm 格式: hadoop fs -rm [-r] [-skipTrash] URI [URI]
作用: 删除参数指定的文件和目录,参数可以有多个,删除目录需要加-r参数 如果指定-skipTrash选项,那么在回收站可用的情况下,该选项将跳过回收站而直接删除文件; 否则,在回收站可用时,在HDFS Shell 中执行此命令,会将文件暂时放到回收站中。
cp 格式: hadoop fs -cp <scr> <dst>
作用: 将文件拷贝到目标路径中
cat 格式: hadoop fs -cat
作用: 将参数所指示的文件内容输出到控制台