Hadoop实验2：HDFS操作

最新推荐文章于 2023-11-02 14:53:59 发布
最新推荐文章于 2023-11-02 14:53:59 发布
阅读量2k 收藏 21
点赞数 2
文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_60980343/article/details/122072110
版权

 

目录

 一、查看目录

二、创建目录

三、删除目录

四、文件上传

五、文件下载

六、查看文件内容

七、查看文件大小

八、复制文件

九、重命名/移动文件

十、文件权限修改

十一、删除文件

一、查看目录

命令使用格式：hadoop fs -ls 目录名

执行效果： 

二、创建目录

使用格式：hadoop fs -mkdir 目录名

执行效果：

注意事项：如果需要创建多层目录，可以使用参数“-p”。例如创建目录/test/test1/test2/test3，如果test3的上层目录都不存在，使用mkdir直接创建会报错，加上“-p“选项，就可以直接创建了。

三、删除目录

使用格式：hadoop fs -rm -r 目录名

执行效果：

最低0.47元/天 解锁文章
所念皆星河115
关注
  • 2
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
有关hadoop的四个实验
08-17
实验1：Hadoop 安装与配置管理 实验2：HDFS实验 实验3:VARN技术 实验4：MapReduce技术 实验5：MapReduce编程 实验6 Hadoop气象数据集实战
Hadoop常用的HDFS操作
Sing___546的博客
10-17 1556
《大数据技术原理与应用》 目录 1 作业题目... 1 2 作业目的... 1 3 作业性质... 1 4 作业考核方法... 1 5 作业提交日期与方式... 1 6...
Hadoop实验-读写HDFS文件
werhkrwjk的博客
09-18 157
如果将Java执行环境比喻为操作系统，如果设置Path变量是为了让操作系统找到指定的工具程序(以Windows来说就是找到.exe文件)，则设置Classpath的目的就是让Java执行环境找到指定的Java程序(也就是.class文件)。为了节约时间，将更多的精力用于实现读写HDFS文件，在大数据实验一体机的相关下载页面中已经提供了2.6.5版本的hadoop插件和相关的hadoop包下载，实验人员可以直接下载这些插件，快速在Eclipse中进行安装，开发自己的hadoop程序。classpath1;
《大数据存储与处理技术(Hadoop)》实验二 熟悉常用的HDFS操作 实验报告
最新发布
tutou__baby_的博客
11-02 1262
熟悉常用的HDFS操作
【大数据实验2】hadoop配置、测试和实例
nosteglic
10-24 5992
hadoop 1、安装 2、测试 3、实例
实验二：熟悉常用的HDFS操作
05-05
实验二：“熟悉常用的HDFS操作”旨在帮助学习者深入理解Hadoop分布式文件系统（HDFS）在大数据处理中的核心地位，以及如何通过Shell命令和Java API进行高效操作。HDFS在Hadoop架构中扮演着存储大数据的核心角色，为...
数据科学导论实验报告 实验2:熟悉常用的HDFS操作
04-30
在本实验中，我们主要关注的是对Hadoop分布式文件系统（HDFS）的熟悉和操作。HDFS是Hadoop的核心组件之一，它提供了一个高容错、可扩展的存储层，用于处理大规模的数据集。实验内容包括编程实现HDFS操作以及使用...
数据科学导论实验报告 实验1：常用Linux操作和 Hadoop操作
04-30
本实验报告主要涵盖了两个核心部分：Linux操作系统的基本操作和Hadoop分布式文件系统的使用。 在Linux部分，实验旨在使学生熟悉一系列基础命令，这对于任何在Linux环境中工作的数据科学家都是必不可少的技能。例如...
实验2 熟悉常用的HDFS操作
10-13
实验2的目的是让学生深入理解和熟练运用Hadoop分布式文件系统（HDFS）的相关操作。HDFS在Hadoop架构中扮演着核心角色，它负责存储大规模数据并提供高容错性和可扩展性。通过这个实验，学生将掌握使用Shell命令以及...
实验2：用Hadoop进行HDFS实验
08-17
实验2：HDFS实验 2.1【实验目的】 本次实验的主要目标是让学生深入了解Hadoop的集群安装和配置过程，理解Hadoop的关键配置选项，包括如何动态管理节点。此外，实验还旨在让参与者熟悉HDFS（Hadoop分布式文件系统）...
Hadoop实验二——熟悉常用的HDFS操作
Bryce1010's Blog
07-30 2万+
编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务： （1） 向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件； shell命令实现 首先启动所有的hadoop应用 上传本地文件到HDFS hadoop fs -put text.txt /Test/ 追加到文件末尾的指令 hado...
HDFS常用操作
zbb50351772的博客
05-09 5932
大数据学习笔记01 学习林子雨大数据教材的一些笔记 HDFS常用操作 启动Hadoop，在HDFS中创建用户目录“/user/hadoop”；$ cd /usr/local/hadoop $ ./sbin/start-dfs.sh $ jps 在Linux系统的本地文件系统的“/usr/local/spark/mycode”目录下新建一个文本文件Word.txt$ cd /usr/local/spark $ mkdir mycode $ touch Word.txt || $vim Word.t
HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）
weixin_61472217的博客
09-13 2万+
主要涉及HDFS shell操作命令，包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。
Hadoop之HDFS上测试创建目录、上传、下载文件
热门推荐
小小码农
01-27 4万+
1、HDFS上创建目录 ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1 2、上传本地文件到HDFS上 ${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1 3、上传本地文件到HDFS上 ${HADOOP_HOME}/bin/hdfs dfs
大数据编程实验二：熟悉常用的HDFS操作
weixin_60530224的博客
04-23 1万+
实验目的1、理解HDFS在Hadoop体系结构中的角色2、熟悉使用HDFS操作常用的Shell命令3、熟悉HDFS操作常用的Java API实验平台1、操作系统：Windows2、Hadoop版本：3.1.33、JDK版本：1.8。
预装实验2：HDFS编程
qq_41166909的博客
10-20 635
1. 【实验介绍】1. 实验内容 本实验利用 Hadoop 提供的 Java API 进行编程对 HDFS 进行操作。 实验目标 通过本实验掌握利用 Hadoop 提供的 Java API 进行编程对 HDFS 进行操作。 实验知识点 Hadoop Java API HDFS 目录操作 实验环境 Hadoop 2.7.1 Eclipse 4.8.0 CourseGrading在线实验环境 预备知识 Hadoop 基本操作 MapRed
熟悉HDFS
ngc2244的博客
04-10 5341
（一）熟悉HDFS操作常用的Shell命令 （1）使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/Hadoop”。 （2）接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表。 （3）将Linux系统本地的“～/.bashrc”文件上传到HDFS的test文件夹中，并查看test。 （4）将HDFS文件夹test复制
HDFS基础文件操作实验
qq_51723187的博客
10-14 1594
本文基于配置完成的Hadoop集群上，完成hdfs的基本操作，包括文件上传，文件重命名与移动，文件的递归查找，查看文件目录下的文件
HDFS编程实践（Hadoop3.1.3）
伟庭的博客
11-30 7117
HDFS编程实践（Hadoop3.1.3）
实验1:hdfs操作
09-20
HDFS（Hadoop分布式文件系统）是Hadoop框架中的分布式文件系统，用于存储和管理大规模数据集。在实验1中，我们将学习如何使用HDFS进行一些常见的操作。 首先，我们需要启动HDFS。通过运行`start-dfs.sh`命令来启动HDFS的所有组件，包括NameNode（负责管理文件系统的命名空间）和DataNode（存储实际的数据块）。 接下来，我们要创建并上传文件到HDFS。使用`hdfs dfs -mkdir`命令创建一个新的目录，例如`hdfs dfs -mkdir /user/input/`。然后，使用`hdfs dfs -put`命令将本地文件上传到HDFS中的目录中，例如`hdfs dfs -put input.txt /user/input/`。 在HDFS中，我们可以使用`hdfs dfs -ls`命令列出文件和目录的内容。例如，`hdfs dfs -ls /user/input/`将显示该目录下的所有文件和子目录。 如果我们想要从HDFS下载文件到本地文件系统，可以使用`hdfs dfs -get`命令。例如，`hdfs dfs -get /user/input/input.txt`将从HDFS中下载文件到当前工作目录。 除了上传和下载文件，我们还可以使用`hdfs dfs -cat`命令在终端查看文件的内容。例如，`hdfs dfs -cat /user/input/input.txt`将在终端上显示文件的内容。 最后，当我们不再需要某个文件或目录时，可以使用`hdfs dfs -rm`命令从HDFS中删除它们。例如，`hdfs dfs -rm /user/input/input.txt`将删除HDFS中的文件。 总结来说，这个实验教会我们如何使用HDFS进行文件和目录的创建、上传、下载和删除操作。这些基本操作是我们在使用Hadoop进行大规模数据处理时的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值