通过Shell命令访问HDFS

已于 2022-10-24 23:10:28 修改
阅读量1.3k 收藏 11
点赞数 1
文章标签： 1024程序员节
于 2022-10-24 23:08:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73730235/article/details/127488037
版权

实践：通过Shell命令访问HDFS

1.1.1实验目的

（1）理解HDFS在Hadoop体系结构中的作用

（2）熟练使用常用的Shell命令访问HDFS

1.1.2程序运行过程、方法和运行结果

正文，描述运行的过程和结果，注意增加截图。

1.掌握常用的HDFS操作命令（hdfs  dfs）

（1）列出子目录或子文件

         列出根目录

（2）创建目录（-p表示会创建父目录。实验时将001换成自己的学号）

 （3）列出HDFS中/202012750/mydemo文件夹下的文件（-R表示列出所有子目录）

最低0.47元/天 解锁文章
m0_73730235
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
通过shell命令访问HDFS.md
03-11
通过shell命令访问HDFS.md
HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）
热门推荐
weixin_61472217的博客
09-13 2万+
主要涉及HDFS shell操作命令，包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。
hadoop的基本操作 第一章 使用常用的Shell命令访问HDFS
huanbianyunluo的博客
12-03 5625
前言 理解HDFS在Hadoop体系结构中的角色； 使用常用的Shell命令访问HDFS； 提示：以下是本篇文章正文内容，下面案例可供参考 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 前提准备 进入实验环境后，需要通过jps命令确认hadoop环境是否已启动 如果出现这上图情况说明还没有hadoop未启动，接下来我们便需要启动Hadoop cd /opt/hadoop/sbin hadoop namenode -format ./start-all.sh 启动之后输入
【大数据·hadoop】在hdfs上运行shell基本常用命令
最新发布
Yaoyao2024的博客
05-11 1752
在Hadoop生态系统中，supergroup 是一个默认的用户组，通常与HDFS的超级用户（即 Hadoop 的管理员账户，类似于 Unix 系统中的 root 用户）关联。超级用户和属于 supergroup 组的用户通常有着对HDFS上所有文件和目录的全权限，这包括读取、写入和执行权限。
Hadoop大数据技术-通过shell命令访问HDFS
qq_53315104的博客
10-24 3166
通过shell命令访问HDFS
通过shell命令访问HDFS
m0_71128221的博客
10-24 1606
通过shell命令访问HDFS
Hadoop学习之HDFS（HDFS的shell操作命令）心得
ljs_0的博客
03-17 1520
HDFS的shell操作命令
hadoop基础：通过 Shell 命令访问 HDFS
m0_58198500的博客
10-24 4330
HDFS Shell 是由一系列类似 Linux Shell 的命令组成的。命令大致可分为操作命令、管理命令、其他命令三类。
HDFS部署与Shell命令使用
07-29
通过以上介绍可以看出，HDFS Shell命令是管理和维护HDFS的重要工具之一。无论是文件操作还是系统管理，Shell命令都能提供强大的支持。掌握这些命令对于高效地使用HDFS至关重要。例如，`fs`命令集主要用于文件操作，...
HDFSShell命令综合练习.pdf
07-11
在Hadoop分布式文件系统(HDFS)的管理中，Shell命令是操作HDFS的基本工具，用于执行文件和目录的创建、查看、上传、下载、复制、移动、删除等操作。以下是对HDFS Shell命令的详细解释： 1. **创建文件夹**： 使用`...
HDFS_HBaseShell的常用命令
06-27
HDFS_HBaseShell的常用命令 HDFS(Hadoop Distributed File System)是一种分布式文件系统，主要用于存储和管理大规模数据。HBase 是一个基于HDFS的NoSQL数据库，用于存储和管理大规模结构化和半结构化数据。HBase ...
实验二 HDFS的Shell命令操作，和HDFS的API操作
L2489754250的博客
03-17 7340
【拓展与思考】思考题1、思考题2、思考题3必做，其余选做在Linux系统中，可以通过which命令来查找HDFS命令对应的程序所在的位置该命令会输出hdfs可执行程序所在的路径。
大数据讲课笔记4.3 HDFS的Shell操作
howard2005的专栏
10-05 1670
1. 熟悉HDFS Shell常用命令操作； 2. 掌握Shell定时采集数据到HDFS
HDFS——如何列出目录下的所有文件
三分地
04-18 1万+
可以用bin/hadoop fs -ls 来读取HDFS某一目录下的文件列表及属性信息。 也可以采用HDFS的API来读取。如下：import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop
HDFS｜HDFS 常用命令整理
长行
09-04 2106
【代码】HDFS｜HDFS 常用命令整理。
hdfs的shell命令操作
a1007904449的博客
08-06 2361
查看hdfs文件系统中指定目录的文件列表。对比linux命令ls 在hdfs文件系统中创建文件 向HDFS文件中追加内容 查看HDFS文件内容 从本地路径上传文件至HDFS 在hdfs文件系统中下载文件 在hdfs文件系统中创建目录 在hdfs文件系统中删除文件 在hdfs文件系统中修改文件名称（也可以用来移动文件到目录） 在hdfs中拷贝文件到目录 递归删除目录 列出本地文件的内容（默认是hdfs文件系统） 查找文件 总结
HDFS的xshell基本操作
tuweibazong的博客
10-24 2312
Hadoop集群的启动，以及Hadoop系统的一些基本操作
利用shell或java操作HDFS
Java_ttcd的博客
08-16 242
1.Java运行Hadoop发生异常:HADOOP_HOME and hadoop.home.dir are unset。本地idea运行时候，可能报异常:HADOOP_HOME and hadoop.home.dir are unset。可以简写成 hdfs dfs -ls /3、可以采用get命令下载文件到本地。可以采用put命令进行文件上传。1、使用java进行文件上传。2、使用java进行文件下载。1、查看指定路径的信息。...
【hadoop系列】Hadoop HDFS命令
weixin_36250487的博客
06-09 1万+
格式：hadoop fs -命令主要有如下的命令：命令说明hadoop fs -mkdir创建HDFS目录hadoop fs -ls列出HDFS目录hadoop fs -copyFromLocal使用-copyFromLocal复制本地文件（local）到HDFShadoop fs -put使用-put复制本地（local）文件到HDFShadoop fs -copyToLocal将HDFS上的文...
通过shell命令访问hdfs
03-17
要通过shell命令访问HDFS，可以使用hadoop fs命令。如果要查看HDFS上的文件列表，可以使用hadoop fs -ls命令。如果要上传文件到HDFS，可以使用hadoop fs -put命令。如果要从HDFS中下载文件，可以使用hadoop fs -get...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值