06 - Hadoop之HDFS文件系统概述、HDFS组成架构、HDFS命令行操作

已于 2024-04-08 22:01:26 修改
阅读量720 收藏 2
点赞数
分类专栏： # hadoop3.x 文章标签： hadoop
于 2019-07-19 23:27:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/K_520_W/article/details/95907042
版权

目录

一：HDFS概述

二：HDFS组成架构

三、HDFS块大小

四：HDFS命令行操作

1、首先启动集群

2、相关命令 ​编辑​编辑 ​编辑​编辑

3、基本语法

4、常用的命令

一：HDFS概述

  1. HDFS产生的背景
          随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统
    管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式
    文件管理系统。HDFS只是分布式文件管理系统中的一种。
  2.  HDFS概念
          HDFS它是一个文件系统，用于存储文件，通过目录树来定位文件，其次它是分布式的，由很多
    服务器联合起来实现其功能，集群中的服务器有各自的角色。
          HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并
    不适合用来做网盘应用。
  3. HDFS的优缺点
          优点：
                   a：高容错性
                                ⑴数据自动保存多个副本。它通过增加副本的形式，提高容错性。
                                ⑵某一个副本丢失以后，它可以自动恢复。
                   b：适合大数据处理
                                ⑴数据规模：
                                            能够处理数据规模达到GB,TB甚至PB级别的数据。
                                ⑵文件规模：
                                            能够处理百万规模以上的文件数量，数量相当之大。
                   c：流式数据访问
                                ⑴一次写入，多次读取，不能修改，只能追加
                                ⑵它能保证数据的一致性。
                   d：可构建在廉价的机器上，通过多副本机制，提高可靠性。
          缺点：
                   a：不适合低延迟数据访问。比如毫秒级的存储数据，是做不到的。
                   b：无法高效的对大量小文件进行存储
                                 ⑴存储大量小文件的话，它会占用NameNode大量的内存来存储文件，目录
                                     和块信息。这样是不可取的，因为NameNode的内存总是有限的。
                                 ⑵小文件存储的寻道时间会超过读取时间，它违反了HDFS的设计目标。
                   c：并发写入，文件随机修改
                                  ⑴一个文件只能有一个写，不允许多个线程同时写。
                                  ⑵仅支持数据append(追加)，不支持文件随机修改。              

二：HDFS组成架构

三、HDFS块大小

                   
           

四：HDFS命令行操作

1、首先启动集群


 a：集群的部署重新调整了一下
      
 b：在hadoop102上启动namenode,datanode以及secondarynamenode
       
 c：在hadoop103上启动yarn
       
      OK集群启动完毕。

2、相关命令
 
 

         

3、基本语法

        bin/hadoop fs 具体命令   OR  bin/hdfs dfs 具体命令

        dfs是fs的实现类。

4、常用的命令

    -ls: 显示目录信息

    

[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -ls /
Found 1 items
drwxr-xr-x   - kgf supergroup          0 2022-05-27 14:36 /user
[kgf@hadoop20 hadoop-2.7.2]$

    -mkdir：在HDFS上创建目录

[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -mkdir -p /sanguo/shuguo
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -ls /
Found 2 items
drwxr-xr-x   - kgf supergroup          0 2022-05-28 03:52 /sanguo
drwxr-xr-x   - kgf supergroup          0 2022-05-27 14:36 /user
[kgf@hadoop20 hadoop-2.7.2]$

   -moveFromLocal：从本地剪切粘贴到HDFS

[kgf@hadoop20 hadoop-2.7.2]$ touch kongming.txt
[kgf@hadoop20 hadoop-2.7.2]$ ll
total 32
drwxr-xr-x. 2 kgf kgf   194 Jan 26  2016 bin
drwxrwxr-x. 3 kgf kgf    17 May 27 14:24 data
drwxr-xr-x. 3 kgf kgf    20 Jan 26  2016 etc
drwxr-xr-x. 2 kgf kgf   106 Jan 26  2016 include
drwxrwxr-x. 2 kgf kgf   187 May 22 15:07 input
-rw-rw-r--. 1 kgf kgf     0 May 28 03:55 kongming.txt
drwxr-xr-x. 3 kgf kgf    20 Jan 26  2016 lib
drwxr-xr-x. 2 kgf kgf   239 Jan 26  2016 libexec
-rw-r--r--. 1 kgf kgf 15429 Jan 26  2016 LICENSE.txt
drwxrwxr-x. 3 kgf kgf  4096 May 28 03:50 logs
-rw-r--r--. 1 kgf kgf   101 Jan 26  2016 NOTICE.txt
drwxrwxr-x. 2 kgf kgf    88 May 22 15:08 output
-rw-r--r--. 1 kgf kgf  1366 Jan 26  2016 README.txt
drwxr-xr-x. 2 kgf kgf  4096 Jan 26  2016 sbin
drwxr-xr-x. 4 kgf kgf    31 Jan 26  2016 share
drwxrwxr-x. 2 kgf kgf    22 May 22 15:14 wcinput
drwxrwxr-x. 2 kgf kgf    88 May 22 15:15 wcoutput
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs  -moveFromLocal  ./kongming.txt  /sanguo/shuguo
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -ls /sanguo/shuguo/
Found 1 items
-rw-r--r--   3 kgf supergroup          0 2022-05-28 03:55 /sanguo/shuguo/kongming.txt
[kgf@hadoop20 hadoop-2.7.2]$
[kgf@hadoop20 hadoop-2.7.2]$ ll
total 32
drwxr-xr-x. 2 kgf kgf   194 Jan 26  2016 bin
drwxrwxr-x. 3 kgf kgf    17 May 27 14:24 data
drwxr-xr-x. 3 kgf kgf    20 Jan 26  2016 etc
drwxr-xr-x. 2 kgf kgf   106 Jan 26  2016 include
drwxrwxr-x. 2 kgf kgf   187 May 22 15:07 input
drwxr-xr-x. 3 kgf kgf    20 Jan 26  2016 lib
drwxr-xr-x. 2 kgf kgf   239 Jan 26  2016 libexec
-rw-r--r--. 1 kgf kgf 15429 Jan 26  2016 LICENSE.txt
drwxrwxr-x. 3 kgf kgf  4096 May 28 03:50 logs
-rw-r--r--. 1 kgf kgf   101 Jan 26  2016 NOTICE.txt
drwxrwxr-x. 2 kgf kgf    88 May 22 15:08 output
-rw-r--r--. 1 kgf kgf  1366 Jan 26  2016 README.txt
drwxr-xr-x. 2 kgf kgf  4096 Jan 26  2016 sbin
drwxr-xr-x. 4 kgf kgf    31 Jan 26  2016 share
drwxrwxr-x. 2 kgf kgf    22 May 22 15:14 wcinput
drwxrwxr-x. 2 kgf kgf    88 May 22 15:15 wcoutput
[kgf@hadoop20 hadoop-2.7.2]$

 -appendToFile：追加一个文件到已经存在的文件末尾

[kgf@hadoop20 hadoop-2.7.2]$ touch liubei.txt
[kgf@hadoop20 hadoop-2.7.2]$ vi liubei.txt
[kgf@hadoop20 hadoop-2.7.2]$ cat liubei.txt
san gu mao lu
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt
[kgf@hadoop20 hadoop-2.7.2]$

-cat：显示文件内容

[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -cat /sanguo/shuguo/kongming.txt
san gu mao lu
[kgf@hadoop20 hadoop-2.7.2]$

-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限

[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs  -chmod  666  /sanguo/shuguo/kongming.txt
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs  -chown  kgf:kgf   /sanguo/shuguo/kongming.txt
[kgf@hadoop20 hadoop-2.7.2]$

-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去 

[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -copyFromLocal README.txt /
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -ls /
Found 3 items
-rw-r--r--   3 kgf supergroup       1366 2022-05-28 04:03 /README.txt
drwxr-xr-x   - kgf supergroup          0 2022-05-28 03:52 /sanguo
drwxr-xr-x   - kgf supergroup          0 2022-05-27 14:36 /user
[kgf@hadoop20 hadoop-2.7.2]$

-copyToLocal：从HDFS拷贝到本地

[kgf@hadoop20 hadoop-2.7.2]$ ll
total 36
drwxr-xr-x. 2 kgf kgf   194 Jan 26  2016 bin
drwxrwxr-x. 3 kgf kgf    17 May 27 14:24 data
drwxr-xr-x. 3 kgf kgf    20 Jan 26  2016 etc
drwxr-xr-x. 2 kgf kgf   106 Jan 26  2016 include
drwxrwxr-x. 2 kgf kgf   187 May 22 15:07 input
drwxr-xr-x. 3 kgf kgf    20 Jan 26  2016 lib
drwxr-xr-x. 2 kgf kgf   239 Jan 26  2016 libexec
-rw-r--r--. 1 kgf kgf 15429 Jan 26  2016 LICENSE.txt
-rw-rw-r--. 1 kgf kgf    14 May 28 03:58 liubei.txt
drwxrwxr-x. 3 kgf kgf  4096 May 28 03:50 logs
-rw-r--r--. 1 kgf kgf   101 Jan 26  2016 NOTICE.txt
drwxrwxr-x. 2 kgf kgf    88 May 22 15:08 output
-rw-r--r--. 1 kgf kgf  1366 Jan 26  2016 README.txt
drwxr-xr-x. 2 kgf kgf  4096 Jan 26  2016 sbin
drwxr-xr-x. 4 kgf kgf    31 Jan 26  2016 share
drwxrwxr-x. 2 kgf kgf    22 May 22 15:14 wcinput
drwxrwxr-x. 2 kgf kgf    88 May 22 15:15 wcoutput
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./
[kgf@hadoop20 hadoop-2.7.2]$ ll
total 40
drwxr-xr-x. 2 kgf kgf   194 Jan 26  2016 bin
drwxrwxr-x. 3 kgf kgf    17 May 27 14:24 data
drwxr-xr-x. 3 kgf kgf    20 Jan 26  2016 etc
drwxr-xr-x. 2 kgf kgf   106 Jan 26  2016 include
drwxrwxr-x. 2 kgf kgf   187 May 22 15:07 input
-rw-r--r--. 1 kgf kgf    14 May 28 04:04 kongming.txt
drwxr-xr-x. 3 kgf kgf    20 Jan 26  2016 lib
drwxr-xr-x. 2 kgf kgf   239 Jan 26  2016 libexec
-rw-r--r--. 1 kgf kgf 15429 Jan 26  2016 LICENSE.txt
-rw-rw-r--. 1 kgf kgf    14 May 28 03:58 liubei.txt
drwxrwxr-x. 3 kgf kgf  4096 May 28 03:50 logs
-rw-r--r--. 1 kgf kgf   101 Jan 26  2016 NOTICE.txt
drwxrwxr-x. 2 kgf kgf    88 May 22 15:08 output
-rw-r--r--. 1 kgf kgf  1366 Jan 26  2016 README.txt
drwxr-xr-x. 2 kgf kgf  4096 Jan 26  2016 sbin
drwxr-xr-x. 4 kgf kgf    31 Jan 26  2016 share
drwxrwxr-x. 2 kgf kgf    22 May 22 15:14 wcinput
drwxrwxr-x. 2 kgf kgf    88 May 22 15:15 wcoutput
[kgf@hadoop20 hadoop-2.7.2]$

-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径

[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -ls /
Found 4 items
-rw-r--r--   3 kgf supergroup       1366 2022-05-28 04:03 /README.txt
drwxr-xr-x   - kgf supergroup          0 2022-05-28 03:52 /sanguo
drwxr-xr-x   - kgf supergroup          0 2022-05-27 14:36 /user
-rw-r--r--   3 kgf supergroup         14 2022-05-28 04:05 /zhuge.txt
[kgf@hadoop20 hadoop-2.7.2]$

-mv：在HDFS目录中移动文件

[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -ls /
Found 4 items
-rw-r--r--   3 kgf supergroup       1366 2022-05-28 04:03 /README.txt
drwxr-xr-x   - kgf supergroup          0 2022-05-28 03:52 /sanguo
drwxr-xr-x   - kgf supergroup          0 2022-05-27 14:36 /user
-rw-r--r--   3 kgf supergroup         14 2022-05-28 04:05 /zhuge.txt
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -mv /zhuge.txt /sanguo/shuguo/
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -ls /sanguo/shuguo/
Found 2 items
-rw-rw-rw-   3 kgf kgf                14 2022-05-28 03:58 /sanguo/shuguo/kongming.txt
-rw-r--r--   3 kgf supergroup         14 2022-05-28 04:05 /sanguo/shuguo/zhuge.txt
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -ls /
Found 3 items
-rw-r--r--   3 kgf supergroup       1366 2022-05-28 04:03 /README.txt
drwxr-xr-x   - kgf supergroup          0 2022-05-28 03:52 /sanguo
drwxr-xr-x   - kgf supergroup          0 2022-05-27 14:36 /user
[kgf@hadoop20 hadoop-2.7.2]$

-get：等同于copyToLocal，就是从HDFS下载文件到本地

[kgf@hadoop20 hadoop-2.7.2]$ ls
bin  data  etc  include  input  lib  libexec  LICENSE.txt  liubei.txt  logs  NOTICE.txt  output  README.txt  sbin  share  wcinput  wcoutput
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -get /sanguo/shuguo/kongming.txt ./
[kgf@hadoop20 hadoop-2.7.2]$ ls
bin   etc      input         lib      LICENSE.txt  logs        output      sbin   wcinput
data  include  kongming.txt  libexec  liubei.txt   NOTICE.txt  README.txt  share  wcoutput
[kgf@hadoop20 hadoop-2.7.2]$

-getmerge：合并下载多个文件，比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,...

[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -getmerge /sanguo/shuguo/* ./zaiyiqi.txt
[kgf@hadoop20 hadoop-2.7.2]$ ls
bin   etc      input         lib      LICENSE.txt  logs        output      sbin   wcinput   zaiyiqi.txt
data  include  kongming.txt  libexec  liubei.txt   NOTICE.txt  README.txt  share  wcoutput
[kgf@hadoop20 hadoop-2.7.2]$ cat zaiyiqi.txt
san gu mao lu
san gu mao lu
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -cat /sanguo/shuguo/kongming.txt
san gu mao lu
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -cat /sanguo/shuguo/zhuge.txt
san gu mao lu
[kgf@hadoop20 hadoop-2.7.2]$

-put：等同于copyFromLocal

[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -put ./zaiyiqi.txt /user/kgf/input/
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -ls /user/kgf/input/
Found 3 items
-rw-r--r--   3 kgf supergroup  212046774 2022-05-27 14:38 /user/kgf/input/hadoop-2.7.2.tar.gz
-rw-r--r--   3 kgf supergroup         46 2022-05-27 14:37 /user/kgf/input/wc.input
-rw-r--r--   3 kgf supergroup         28 2022-05-28 04:12 /user/kgf/input/zaiyiqi.txt
[kgf@hadoop20 hadoop-2.7.2]$

-tail：显示一个文件的末尾

[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -tail /sanguo/shuguo/kongming.txt
san gu mao lu
[kgf@hadoop20 hadoop-2.7.2]$

-rm：删除文件或文件夹

[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -rm /user/kgf/input/hadoop-2.7.2.tar.gz
22/05/28 04:14:27 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /user/kgf/input/hadoop-2.7.2.tar.gz
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -ls /user/kgf/input/
Found 2 items
-rw-r--r--   3 kgf supergroup         46 2022-05-27 14:37 /user/kgf/input/wc.input
-rw-r--r--   3 kgf supergroup         28 2022-05-28 04:12 /user/kgf/input/zaiyiqi.txt
[kgf@hadoop20 hadoop-2.7.2]$

-rmdir：删除空目录

[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -mkdir /test
[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -rmdir /test
[kgf@hadoop20 hadoop-2.7.2]$

-du统计文件夹的大小信息

[kgf@hadoop20 hadoop-2.7.2]$ hadoop fs -du -s -h /user/kgf/input/*
46  /user/kgf/input/wc.input
28  /user/kgf/input/zaiyiqi.txt
[kgf@hadoop20 hadoop-2.7.2]$

-setrep：设置HDFS中文件的副本数量

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

      

爱上口袋的天空
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
HDFS常用命令
小马哥的博客
10-21 4496
hdfs
HDFS架构概述
enchantedowl的博客
09-28 4994
HDFS架构概述
2024年最全大数据：Hadoop文件操作HDFS常用命令（一），大数据开发体系化进阶学习图谱
最新发布
2401_84164721的博客
05-10 883
本例中mydir下f1.txt , f2.txt , f3.txt里面仅仅只是文本字符。当把这些文件合并到一个temp文件中后，是把f1.txt , f2.txt , f3.txt中所有文本字符合并追加到temp中去。8、把HDFS中整个文件夹目录下的文件合并并下载到本地。6、上传整个目录文件夹。假设本地有一个文件夹myfile，myfile下面有f1.txt，f2.txt，f3.txt。9、从HDFS中把文件下载到本地。10、查看HDFS中的文件内容。假设查看mydir下的f1.txt文件内容。
Hadoop-5-HDFS常用命令
m0_43402033的博客
03-15 2622
打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定。把hdfs里面的多个文件合并成一个文件，合并后文件位于本地系统。从检查点目录装载镜像并保存到当前检查点目录，检查点目录由。最近的升级会被持久化，回滚到前一版本，这个选项要在停止集群，分发老的。被失败的任务会对失败尝试不利。选项将再不可用，升级终结操作之后，它会停掉。被杀死的任务不会不利于失败尝试。，如果文件是压缩格式，则会先解压，再查看。判断文件是否为空，正0负1。判断文件是否存在，正0负1。
VM虚拟机中HDFS 命令
qq_52721612的博客
02-08 1869
VM虚拟机中HDFS 命令
一、大数据技术基础——分布式文件系统HDFS
FengTingT的博客
06-04 1375
大数据技术基础学习笔记，本篇简要介绍了分布式存储系统HDFS。
Hadoop-HDFS-基于Hadoop的hdfs-分布式文件系统架构
12-22
分布式文件系统架构，存放的是文件的数据信息和验证文件完整性的校验信息，心跳机制
jsr203-hadoop:HDFS的Java NIO文件系统提供程序
05-03
Hadoop分布式文件系统的JSR 203实现 Maven神器 < groupId>com.github.jsr203hadoop</ groupId> < artifactId>jsr203hadoop < version>1.0.3 先决条件 jsr203-hadoop要求： 吉特 Maven 3.0.4（或更高版本） ...
分布式文件系统HDFS的起源、架构、组成、特性以及数据操作方式
01-27
分布式文件系统HDFS，全称为Hadoop Distributed File System，是为了解决大数据处理场景下存储问题而诞生的。HDFS的出现是分布式技术发展的重要里程碑，尤其在云计算、大数据领域，分布式系统已经成为不可或缺的一...
大数据课程-Hadoop集群程序设计与开发-3.HDFS分布式文件系统_lk_edit.pptx
01-01
1. **Shell操作**：用户可以通过HDFS的命令行接口（Shell）执行各种操作，如创建、删除文件和目录，查看文件内容，移动或重命名文件等。 2. **Java API操作**：对于开发人员，HDFS提供了丰富的Java API，允许应用...
HDFS文件系统
02-26
HDFS文件系统，大数据资源文件
hdfs dfs -du -h 或者 hadoop fs -du -h 输出三列数据的含义
nana1253431195的博客
09-02 868
所以第二列的是第一列的三倍 （第二列内容=文件大小*副本数）第二列表示该目录下所有文件在集群上的总存储大小。与你的副本数相关，我的副本数是3 ，第一列表示该目录下总文件大小。第三列表示你查询的目录。
linux怎么查看hdfs启动命令,Linux实验：hdfs shell基本命令操作（一）
weixin_35019679的博客
05-16 4820
【实验目的】1)熟练hdfs shell命令操作2)理解hdfs shell和linux shell命令【实验原理】安装好hadoop环境之后，可以执行hdfs shell命令对hdfs 的空间进行操作。我们通过命令行和HDFS打交道，进一步增加对HDFS的认识，HDFS命令行接口是一种最直接，也比较简单的一种方式。调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。也可以...
浅谈HDFS分布式文件系统
ItStar
07-26 446
浅谈HDFS分布式文件系统Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件...
hdfs 的启动
gochenguowei的博客
07-22 1万+
（1）先配置文件       修改 core-site.xml 如下          修改 hdfs-site.xml 如下：     &lt;configuration&gt;       &lt;property&gt;         &lt;name&gt;dfs.replication&lt;/name&gt;         &lt;value&gt;1&lt;/val...
hdfs nameservice1 删除文件夹命令_Linux删除文件夹命令有哪些
weixin_26846533的博客
02-03 706
今天要和大家分享的Linux常用命令是Linux删除文件夹命令，Linux删除文件夹很简单，常用的命令有rmdir和rm，以下分别介绍一下，大家根据情况选择使用即可。Linux删除文件夹命令有哪些①Linux删除文件夹命令：rmdirrmdir命令使用场景：当有空目录要删除时，可使用rmdir指令。若所给予的目录非空目录，则会出现错误信息。命令语法：rmdir [-p] [目录名]-p 删除指定目...
HDFS 启动与关闭
热门推荐
lzxyzq的博客
05-04 1万+
一.HDFS 启动与关闭 HDFS 和普通的硬盘上的文件系统不一样，是通过Java 虚拟机运行在整个集群当中的，所以当Hadoop 程序写好之后，需要启动HDFS 文件系统，才能运行。 HDFS 启动过程如下： 1）进入到NameNode 对应节点的Hadoop 安装目录下。 2）执行启动脚本：   bin/start-dfs.sh 这一脚本会启动NameNode，
HDFS架构和组成
王傲旗的大数据之路
02-24 822
HDFS架构和组成 Hdfs 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成NameNode， DataNode，client，和SencondayNameNode组成 NameNode(Master)： 管理 HDFS 的命名空间，维护元数据。 接收客户端的请求。 管理数据块（Block）映射信息. 配置副本策略 DataNode(Slave)： 存储实际的数据块 。 执行数据块的读/写操作。 向namenode上传心跳信息。 Client(客户端)： 1、文件上传 HDFS
深入理解Hadoop：HDFS文件系统详解
"本文档主要介绍了大数据技术中的Hadoop HDFS文件系统，包括HDFS的概念、组成、文件块大小，以及HDFS的命令行操作。" Hadoop HDFS（Hadoop Distributed File System）是Apache Hadoop项目的核心组件之一，设计用于...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值