Hadoop（HDFS）

• HDFS

  ---

  学习内容Hadoop(HDFS)

      
      1.HDFS的概述
          
          01.    为何会产生HDFS？
              随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统，HDFS只是分布式管理系统中的一种。
              
              定义：
              HDFS(Hadoop Distributed File System)，他一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式，由多台服务器联合起来实现功能，集群中服务器有各自的角色。
              
          02.    HDFS 优缺点
              
              优点：高容错性、适合处理大数据、可构建在廉价机器上通过多副本机制，提高可靠性。
              缺点：不适合低延时数据访问、无法高效的对大量小文件进行存储、仅支持数据append（追加）不支持文件的随机修改
              
          03.    HDFS 组成架构
              
              NameNode(nn):就是Master，它是一个主管、管理者
                  
                  1.管理HDFS的名称空间
                  2.配置副本策略
                  3.管理数据块(Block)映射信息
                  4.处理客户端读写请求
              
              DataNode：就是Slave NameNode下达命令 DataNode执行实际操作
                  
                  1.存储实际的数据块
                  2.执行数据块的读/写操作
              
              Client：就是客户端
                  
                  1.文件切分，文件上传HDFS的时候，Client将文件切分成一个一个Block，然后进行上传
                  2.与NameNode交互，获取文件的位置信息
                  3.与Ddata交互，读取或者写入数据
                  4.Client提供一些命令来管理HDFS，比如NameNode格式化
                  5.Client可以通过一些命令来访问HDFS，比如对HDFS增删改查操作
                  
              SecondaryNameNdoe：并非NameNode的热备。当NameNode挂掉的时候，他并不能马上替换NameNode并提供服务
                  
                  1.辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode
                  2.在紧急情况下，可以辅助恢复NameNode
                  
                  
          04.    HDFS文件块大小
                  HDFS的文件在物理上是分块存储，块的大小是可以通过配置参数来规定的，默认大小在Hadoop2x版本中是128M，老版本中是64M
              
              为什么块的大小不能设置太小，也不能设置太大？
                  
                  1.HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置
                  2.如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序处理这块数据时，会非常慢。
              
              
      2.    HDFS上的shell操作命令
              
              （2）-ls: 显示目录信息
                  用法1：hadoop fs -ls /
                  功能：列出hdfs文件系统根目录下的目录和文件
                  用法2：hadoop fs -ls -R /
                  功能：列出hdfs文件系统所有的目录和文件
              
              （3）-mkdir：在HDFS上创建目录
                  用法1：hadoop fs -mkdir <hdfs path>
                  功能：只能一级一级的建目录，父目录不存在的话使用这个命令会报错
                  用法2：hadoop fs -mkdir -p <hdfs path>
                  功能：所创建的目录如果父目录不存在就创建该父目录
              
              （4）-moveFromLocal：从本地剪切粘贴到HDFS
                  用法：hadoop fs -moveFromLocal <local src> <hdfs dst>
                  功能：与put相类似，命令执行后源文件 local src 被删除

  
              （5）-appendToFile：追加一个文件到已经存在的文件末尾
                  用法：hadoop fs -appendToFile <local src> <hdfs dst>
                  功能：将一本地文件中的内容拼接在hdfs文件中

  
                  -cat：显示文件内容

              （6）-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限、
                  用法：hadoop fs -chown 用户名:组名 <hdfs file>
                  功能：修改文件或目录所属用户和组,递归加参数-R,chmod

              （7）-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去
                  用法：hadoop fs -copyFromLocal <local src> <hdfs dst>
                  功能：与put相类似

  
              （9）copyToLocal：从HDFS拷贝到本地
                  用法：hadoop fs -copyToLocal <local src> <hdfs dst>
                  功能：与get相类似

  
              （10）-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径
                  用法：hadoop fs -cp <hdfs file> <hdfs file>
                  功能：目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件还存在

              （11）-mv：在HDFS目录中移动文件
                  用法：hadoop fs -mv <hdfs fi