如何往hdfs上上传文件?

  1. 启动Hadoop

    start-all.sh

  2. 在hdfs上创建临时文件夹去存放我们要上传的文件:

    hdfs dfs -mkdir -p /user/fileTest

    -mkdir:创建文件夹命令
    -p :创建多级目录命令
    在Hadoop 根目录下创建了user,user下又创建了fileTest文件
    在这里插入图片描述

  3. Hadoop上上传文件

    hdfs dfs -put /usr/local/text.txt /user/fileTest

    -put:上传文件
    第一个路径是要传的文件的路径
    第二个路径是目的地

  4. 查看是否上传成功
    第一种本地通过命令查看:

    hdfs dfs -ls /user/fileTest
    第二种通过Hadoop查看:
    在这里插入图片描述

  5. 删除hdfs上的文件
    hdfs dfs -rm -r /user/fileTest

在这里插入图片描述

  1. 查看是否删除成功:
    在这里插入图片描述

已经删除了!!

HDFS(Hadoop Distributed File System)是Hadoop生态系统中的一种分布式文件系统,它的设计目标是能够在廉价的硬件上存储大量数据,并且保证高可靠性和高性能。 HDFS将大文件划分为若干个数据块(默认大小为64M),并将这些数据块分散存储在不同的节点上,这些节点可以是集群中的任何一台机器。每个数据块会有多个备份(默认为3份),这些备份会存储在不同的节点上,以保证数据的可靠性。HDFS会通过数据块的复制策略,将数据块尽可能地分散存储在不同的机器上,以保证数据的可靠性和高效性。当某个节点失效时,HDFS会自动将该节点上的数据块复制到其他节点上,保证数据的可靠性。 在HDFS中,数据的存储是通过NameNode和DataNode来实现的。NameNode是整个HDFS的管理节点,它负责管理文件系统的命名空间、文件元数据信息、数据块的分布情况等。DataNode是存储数据块的节点,它负责存储数据块、向NameNode汇报数据块的存储信息等。 在HDFS中,当一个客户端需要存储一个文件时,它会将文件切分成若干个数据块,并将这些数据块分散存储在不同的DataNode上。同时,客户端会向NameNode发送一个请求,将文件的元数据信息存储在NameNode上。当客户端需要读取文件时,它会向NameNode发送一个请求,获取文件的元数据信息,然后通过DataNode获取数据块,并将这些数据块组成完整的文件返回给客户端。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值