Hadoop常用命令

最新推荐文章于 2024-05-11 17:09:39 发布
最新推荐文章于 2024-05-11 17:09:39 发布
阅读量82 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/colan_liang/article/details/84932632
版权

遍历HDFS目录

hadoop fs -lsr  递归查看文件目录信息

 

上传文件

hadoop -put  源文件 目标目录

hadoop -put 源文件 目标目录/重命名b

 

下载文件

hadoop fs -get file 本地目录

 

查看版本

hadoop version

 

杀掉作业

hadoop job -kill <jobid>

 

显示所有作业

hadoop job -list

查看yarn任务进度

hadoop application -list

 

colan_liang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop常用的命令整理
天净沙闲云
08-25 332
hadoop 2.7命令之查看集群健康状况的命令 查看hadoop集群的健康状况hdfs dfsadmin -report [root@node-1 ~]# hdfs dfsadmin -report Safe mode is ON Configured Capacity: 55108190208 (51.32 GB) Present Capacity: 42858930176 (39.92 ...
Hadoop常用命令.pdf
07-02
> hadoop jar test-1.0-SNAPSHOT-jar-with-dependencies.jar /user/test/input /user/test/out 2.运行Jar包指定类中的主函数 > java -cp test-1.0-SNAPSHOT-jar-with-dependencies.jar com.test.main.MainTest
Hadoop 文件命令
云计算?
07-13 291
* 文件操作* 查看目录文件* $ hadoop dfs -ls /user/cl** 创建文件目录* $ hadoop dfs -mkdir /user/cl/temp** 删除文件* $ hadoop dfs -rm /user/cl/temp/a.txt** 删除目录与目录下所有文件* $ hadoop dfs -rmr /user/cl/temp** 上传文件* 上传一个本机/home/c...
【大数据·hadoop】在hdfs上运行shell基本常用命令
最新发布
Yaoyao2024的博客
05-11 1706
在Hadoop生态系统中，supergroup 是一个默认的用户组，通常与HDFS的超级用户（即 Hadoop 的管理员账户，类似于 Unix 系统中的 root 用户）关联。超级用户和属于 supergroup 组的用户通常有着对HDFS上所有文件和目录的全权限，这包括读取、写入和执行权限。
Hadoop命令大全
东杰书屋
05-29 980
1、列出所有Hadoop Shell支持的命令   $ bin/hadoop fs -help 2、显示关于某个命令的详细信息   $ bin/hadoop fs -help command-name 3、用户可使用以下命令在指定路径下查看历史日志汇总   $ bin/hadoop job -history output-dir 这条命令会显示作业的细节信息，失败和终止的任务细节。
Hadoop命令操作
葱葱的城堡
05-02 1089
查看某文件夹下所有文件大小并按降序排序： hf -dus /group/userdir/hive/* |sort -n-r -k2 > /home/username/output/result.txt 或者 hf -count/group/userdir/hive/* |sort -n -r -k3 >/home/username/output/result2.txt 后者的输出列表是：
Hadoop常用命令（持续更新）
williamjame的博客
11-23 247
Hadoop常用命令FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的
hadoop常用命令
03-08
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据...
HDFS操作随笔
Johnzhc的博客
08-30 302
                                                HDFS操作随笔 目录                                                 HDFS操作随笔 一、Hadoop的hdfs dfs命令 一、Hadoop的hdfs dfs命令 参数 作用 示例 返回值 appendToFile ...
hadoop命令（仅供自己查看使用）
XXL的技术博客
08-03 1413
1 进入MapReduce目录（如果没有则mkdir）: cd ~/MapReduce 2 创建MapReduce应用程序wordcount的目录 mkdir wordcount 3 编译生成.class（pwd为~/MapReduce) javac -classpath ~/hadoop-1.1.2/hadoop-core-1.1.2.jar -d wordcount Word
Hadoop HDFS指令
Kanon_H的博客
11-27 214
命令 说明 执行：hadoop  fs -mkdir /park 在hdfs 的根目录下，创建  park目录 执行：hadoop  fs  -ls  / 查看hdfs根目录下有哪些目录 hadoop  fs -cp  /park01/1.txt  /park02 ...
Hadoop学习笔记之常用命令
xunming的专栏
10-27 1594
Hdfs命令 Hadoop命令 Hbase命令 实际应用 其他命令 其他 Hdfs命令 hdfs dfs -cat /urlba/url/url.txt|tail -5 后5行 hdfs dfs -cat /urlba/url/url.txt|head -5 前5行 hdfs dfs -cat /urlba/url/url.txt| shuf -n 5 随机5行。 hdfs...
linux显示所有文件的大小，显示文件夹下文件的个数，hadoop命令中查看文件夹下的个数命令，模糊查询
小爷欣欣
10-17 3875
$ ll -h linux 下查看文件个数及大小 ls -l |grep "^-"|wc -l 或 find ./company -type f | wc -l 查看某文件夹下文件的个数，包括子文件夹里的。 ls -lR|grep "^-"|wc -l 查看某文件夹下文件夹的个数，包括子文件夹里的。 ...
hadoop命令大全
顺其自然~专栏
07-17 4204
hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件目录信息hdfs dfs -stat path 返回指定路径的信息。
Java之美[从菜鸟到高手演练]之Hadoop常用命令
热门推荐
智慧演绎，无处不在
01-15 2万+
这篇文章主要是讲一下位于bin下的hadoop命令，我们可以直接输入hadoop无任何参数看一下：用法就是：hadoop [---config confdir] COMMAND此处COMMAND就是下面列出来的那些，fs, version,jar 等等。
hadoop常用shell命令
06-01
Hadoop常用的shell命令有：hdfs dfs -ls列出HDFS中的文件和目录；hdfs dfs -rm删除HDFS中的文件；hadoop jar运行Hadoop的MapReduce任务；yarn application -list列出YARN上运行的应用程序；yarn application -kill杀...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值