Hadoop集群使用 HDFS文件系统

Hadoop集群搭建

   ·大数据集群方案-单机模式

       在单机模式下，要求Windows系统运行内存至少也是8G.

   ·大数据集群方案-集群模式

       在集群模式下，要求Windows系统运行内存至少是16G.

Hadoop集群使用

   ·Hadoop启动和关闭-单节点模式

       1.启动虚拟机

          在资料中已经提供好了单台虚拟机，为node1(192.168.52.161)

       2.使用Termius连接虚拟机

       3.集群一键启动和关闭

           一键启动大数据环境

            /onekey/my-start-all.sh

          一键关闭大数据环境

           /onekey/my-stop-all.sh

   ·Hadoop页面访问-集群模式

       4.查看启动进程-jps

       5.查看HDFS页面

       6.查看YARN页面

       7.查看已经finished的mapreduce运行日志

HDFS文件系统

   ·HDFS的概述

       在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统.

       HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口,像是访问一个普通文件系统一样使用分布式文件系统.

       分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力.

  ·HDFS的特点

     HDFS文件系统可存储超大文件，时效性稍差.

     HDFS具有硬件故障检测和自动快速恢复功能.

     HDFS为数据存储提供很强的扩展能力.

     HDFS存储一般为一次写入，多次读取，只支持追加写入，不支持随机修改.

     HDFS可在普通廉价的机器上运行.

  ·HDFS的架构

    HDFS采用Master/Slave架构 .

    一个HDFS集群有两个重要的角色，分别是Namenode和Datanode.

   HDFS的四个基本组件:HDFS Client、NameNode、DataNode和Secondary NameNode.

    1、Client

         就是客户端。

         文件切分。文件上传 HDFS 的时候，Client 将文件切分成 一个一个的Block，然后进行存储 .

        与 NameNode 交互，获取文件的位置信息。

        与 DataNode 交互，读取或者写入数据。

   2、NameNode

        就是 master，它是一个主管、管理者。

       管理 HDFS 元数据（文件路径，文件的大小，文件的名字，文件权限，文件的block切片信 息….）。

        配置副本策略。

        处理客户端读写请求。

  3、DataNode

        就是Slave。NameNode 下达命令，DataNode 执行实际的操作。

        存储实际的数据块。

        执行数据块的读/写操作。

        定时向namenode汇报block信息。

  4、Secondary NameNode

       并非 NameNode 的热备。当NameNode 挂掉的时候，它并不能马上替换 NameNode 并提供服务。

       辅助 NameNode，分担其工作量。

       在紧急情况下，可辅助恢复 NameNode。

  ·HDFS的Shell命令

       安装好hadoop环境之后，可以执行hdfs相关的shell命令对hdfs文件系统进行操作，比如文件的创建、删除、修改文件权限等。

       对HDFS的操作命令类似于Linux的shell对文件的操作，如ls、mkdir、rm等。