查询hdfs的相对路径

最新推荐文章于 2023-02-12 09:48:22 发布
最新推荐文章于 2023-02-12 09:48:22 发布
阅读量1.9k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43688472/article/details/112526512
版权

今天在我和同事交流时，
对比数据类型，我看到了一个hdfs的相对路径查询，很是好奇，

在这里插入图片描述

在这里插入图片描述

这个是我的查询
在这里插入图片描述

问题在于哪里
用户的不同

也就是说，可以相对路查询是因为在sunlower的用户名，可以找到对应的/user/sunflower/*
下的文件
其他用户也可以查询其他路径的下的文件，但是只能是一级路径

墨卿风竹
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
关于HDFS数据存储路径
马超的博客
06-16 1万+
hdfs中的绝对路径，就比较简单，就是类似/a/b/c/xxx这样的，就是从根目录开始，通过这个名字找到文件（目录），这个Linux的绝对路径是一样的概念。由于我们并不会像操作Linux文件系统一样cd到hdfs的某个目录下，于是，hdfs中一般来说没有“当前目录”的概念（用fuse或者NFS情况除外）。于是一个hadoop fs -ls a/b/c/xxx这样的访问，就是“相对于hdfs上的当前用
HDFS排查路径
jiweiqiao的博客
03-01 477
1、首先判断namenode进程是否正常，通过控制台查看状态是否正常，也可进一步通过后台命令：ps -ef|grep -i 'namenode'查看进程是否存在，以及是否最近有重启；1、首先判断ZKFC、JN、DN进程是否正常，通过控制台查看状态是否正常，也可进一步通过后台命令：ps -ef|grep -i 'pid'查看进程是否存在，以及是否最近有重启；b、查看对应进程的运行日志，过滤error或者fatal等信息，根据报错信息再做进一步分析；进一步分析按照以下步骤。进一步分析按照以下步骤。
Hadoop学习笔记之HDFS
热门推荐
Gettler的博客
08-07 2万+
支持海量数据的存储，成百上千的计算机组成存储集群，HDFS可以运行在低成本的硬件之上，具有的高容错、高可靠性、高可扩展性、高吞吐率等特征，非常适合大规模数据集上的应用。
HDFS--文件管理
qq_46893497的博客
11-30 1708
文件管理 命令：hdfs dfs [root@node-01 hadoop-2.6.0-cdh5.14.0]# hdfs dfs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R
大数据之Hadoop
qq_45429856的博客
02-12 1672
大数据
Hadoop中查看HDFS中的一个文件的位置信息
weixin_41255682的博客
05-15 1万+
命令行hadoop fsck /user/filename -files  -blocks -locations -racks-files  文件分块信息，-blocks    在带-files参数后才显示block信息-locations   在带-blocks参数后才显示block块所在datanode的具体IP位置，-racks       在带-files参数后显示机架位置...
【hadoop系列】Hadoop HDFS命令
weixin_36250487的博客
06-09 1万+
格式：hadoop fs -命令主要有如下的命令：命令说明hadoop fs -mkdir创建HDFS目录hadoop fs -ls列出HDFS目录hadoop fs -copyFromLocal使用-copyFromLocal复制本地文件（local）到HDFShadoop fs -put使用-put复制本地（local）文件到HDFShadoop fs -copyToLocal将HDFS上的文...
上传文件到HDFS
10-30
在运行这个程序之前，确保你的环境已经配置好Hadoop，并且正确设置了`hdfsUrl`、`localFilePath`和`hdfsFilePath`变量以指向正确的路径。 总之，使用Hadoop的Java API上传文件到HDFS是一个相对简单的过程，主要涉及...
HDFS实验_实验三.docx
06-06
我们首先创建了一个用户目录，然后使用 mkdir 命令创建了不同的目录，包括相对路径和绝对路径。我们还使用了 rm 命令删除了目录和文件。 四、文件操作 我们创建了一个名为 test.txt 的文件，并将其内容设置为...
大数据平台构建：HDFS运行原理.pptx
06-21
HDFS的写流程相对复杂，涉及客户端、NameNode和多个DataNode间的交互，主要包括：Block的创建、Block的写入和确认、以及Block副本的复制。客户端首先写入第一个Block，完成后向NameNode报告，接着写入下一个Block，...
python读取hdfs上的parquet文件方式
09-16
hdfs 库（不是 hdfs3）是另一个选择，但它的更新可能不太频繁，且社区支持可能相对较少。 总的来说，Python 中读取 HDFS 上的 Parquet 文件涉及到多个库的配合使用，包括 hdfs3 用于 HDFS 访问，fastparquet 或 ...
test_hdfs:高清阅读
05-07
然而，在某些测试或开发环境中，我们可能并不需要启用Kerberos，此时，HDFS的访问则相对简单。 创建目录是HDFS操作的基础之一。在Java API中，我们可以使用`FileSystem`类的`mkdirs()`方法来创建多级目录。以下是一...
查看hive表对应的hdfs文件路径
L13763338360的博客
10-21 1万+
1. 一般情形 一般情形，spark-sql执行show create table xxx.xxx命令，就可以看到hdfs路径：LOCATION show create table xxx.xxx; 2. 特殊情形 有些情况，比如spark用saveAsTable方法创建的表，一般情形不适合，查不到hive表对应的hdfs路径。 spark-sql> show create table default.leon_hive_table; CREATE TA...
本机查看hdfs目录
王佳斌
06-12 1万+
开始 因为hdfs是一个分布式文件系统，又是分布式计算中数据存储管理的基础，直接在命令行输入和浏览非常不方便。 首先要先确认是否启动了Hadoop服务进程，否则无法继续。 在浏览器地址栏输入（以192.168.56.110为例，端口默认50070）： 192.168.56.110:50070 如果出现如下页面，即为成功！ ...
hdfs的默认路径
ningyanggege的博客
01-24 1万+
hdfs命令如下： 从上面的实验当中就可以发现hdfs的默认路径为/user/root  hdfs 命令已经取代hadoop；
hdfs如何查找指定目录是否文件_如何列出Hdfs目录和子目录中文件的路径？
weixin_31411313的博客
12-29 820
Could not figure out a way to list all files in directory and subdirectories.Here is the code that I'm using which lists files in a specific directory but files if there is a subdorectory inside:val c...
Hadoop fs 常用命令
松坡的机器学习笔记
08-15 4113
常用命令： hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 hadoop fs -rm hdfs_path //删除HDFS上的文件 hadoop fs -rmr hdfs_path //删除HDFS上的文件夹 hadoop fs -put local_file hdf...
【大数据技术干货】教你如何设置hdfs文件系统用户目录，以便轻松使用hdfs dfs -ls命令快速访问对于当前目录下相对路径的hdfs文件
liuchunhang的博客
11-16 1706
一 命令 hdfs dfs -ls 和hdfs dfs -ls / 1当我们习惯使用hdfs dfs -ls / 访问hdfs文件系统的文件，有没有曾想过hdfs还可以快速直接以当前目录访问文件，当我们在shell端输入 hdfs dfs -ls 或者hdfs dfs -ls . ...
Delphi学习案例.docx
最新发布
07-16
Delphi 是一个基于 Object Pascal 的高级编程语言和集成开发环境 (IDE)，适用于 Windows、macOS、iOS 和 Android 平台的快速应用程序开发 (RAD)。以下是一个简单的 Delphi 学习案例，展示如何使用 Delphi 开发一个基本的 Windows 应用程序，该应用程序将实现一个简单的记事本功能。
hadoop fs -put <linux上文件> <hdfs上的路径>
05-09
`<hdfs上的路径>`是要上传到的 HDFS 中的路径，也可以是绝对路径或相对路径。 例如，如果要将 `/home/user/data.txt` 这个文件上传到 HDFS 的 `/data` 目录下，可以使用以下命令： ``` hadoop fs -put /home/user/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值