Hadoop常用命令

最新推荐文章于 2022-10-07 08:25:28 发布
最新推荐文章于 2022-10-07 08:25:28 发布
阅读量214 收藏
点赞数
分类专栏： Mysql、Hadoop、Linux等常用命令整理（步骤） 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44324669/article/details/104996274
版权

一、Hadoop常用命令–格式

HDFS提供了shell的操作接口
文件操作命令与Linux相似
格式为：Hadoop fs -<命令> <目标>
如：hadoop fs -ls /user
查看（列举）user目录下的文件 ；

二、Hadoop常用命令

查看版本
1.查看hdfs系统版本
hdfs version
2.查看hdfs系统状态
hdfs dfsadmin -report
目录操作
3.查看目录及文件
hadoop fs -ls /
4.创建及删除目录
hadoop fs -mkdir /+目录名称
hadoop fs -rm -r /目录名称
创建父目录副目录
5.上传及下载文件
hadoop fs -put 文件名称 /目录名称
hadoop fs -get /文件路径/名称 /下载到的目录
6.查看文件内容
hadoop fs -cat /文件路径/名称

morning shine潇
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop常用命令.pdf
07-02
> hadoop jar test-1.0-SNAPSHOT-jar-with-dependencies.jar /user/test/input /user/test/out 2.运行Jar包指定类中的主函数 > java -cp test-1.0-SNAPSHOT-jar-with-dependencies.jar com.test.main.MainTest
实验二 熟悉HDFS常用操作
Bernard's
10-04 1634
（1） 将HDFS中指定文件的内容输出到终端中 hadoop fs -ls / # show files read -p "Please input file you want to output: " fileName # input if hadoop fs -test -e /$fileName # test if this file exist then hadoop fs -cat /$fileName # output file else echo "The file doe.
HDFS的命令行操作
weixin_44644621的博客
10-26 791
doas hdfs dfs -命令 访问hdfs文件：doas hdfs dfs -ls URI 新建hdfs文件：doas hdfs dfs -mkdir URI 复制文件到指定位置：hdfs dfs -cp [-f] URI 选项：-f选项覆盖已经存在的目标。 查看文件内容：doas hdfs dfs -cat URI ......
显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；
qq_48198925的博客
03-29 2076
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.FileSystem; import java.io.*; import java.text.SimpleDateFormat; public class Show { //show public static void ls(Configuration conf,
检测hdfs 文件是否存在并获取文件列表、大小、创建时间的shell开发
ksh007的博客
12-18 3740
命名 check_hdfs_dir.sh 运行： sh check_hdfs_dir.sh /usr/data/000/ 代码如下： #!/bin/bash   lujing=$1 echo $lujing   command="hadoop fsck "${lujing}" &gt; hadoop_fsck.txt" eval $command val=`awk '/Tot...
显示HDFS中指定的文件权限、大小、创建时间、路径等信息。
qq_43300712的博客
05-21 2789
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.FileSystem; import java.io.*; import java.text.SimpleDateFormat; public class fileList { /** * 显示指定文件的信息 */ public static...
hadoop常用命令
03-08
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据...
hdfs文件创建查看
seaReal1的博客
05-17 7834
看文件信息hadoop fsck /user/filename更详细的hadoop fsck /user/filename -files  -blocks -locations -racks -files  文件分块信息，-blocks    在带-files参数后才显示block信息-locations   在带-blocks参数后才显示block块所在datanode的具体IP位置，-rack...
HDFS文件系统命令详解
weixin_33940102的博客
08-28 1677
【fs最常用命令】bin/hadoopfs-lshdfs_path//查看HDFS目录下的文件和子目录 bin/hadoopfs-mkdirhdfs_path//在HDFS上创建文件夹 bin/hadoopfs-rmhdfs_path//删除HDFS上的文件 bin/hadoopfs-rmrhdfs_path//删除HD...
hdfs文件按修改时间下载
weixin_34273481的博客
03-06 663
应用于：对于不同用户创建的表目录，进行文件的下载，程序中执行hadoop cat命令 下载文件到本地，随后通过ftp传至目标服务器，并将hdfs文件目录的修改时间存入mysql中。每次修改前将mysql中记录的数据，与本批次下载的HDFS文件路径修改时间对比，如果改变，则决定是否下载文件：   入口： 1 package edm.spark.download.edm.spark.downloa...
linux之shell:利用日期进行文件创建
yusiyu的技术专栏
01-06 7214
sh03.sh  #!/bin/bash #program #  program creates three files,which named by user's input #  and date command #History: #2013/12/26 yusiyu First release PATH=/bin:/sbin:/usr/bin:/usr/sbin:/u
hadoop HDFS常用文件操作命令
weixin_33901926的博客
04-14 4547
命令基本格式: hadoop fs -cmd < args > 1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件 2.put hadoop fs -put < local file &...
HDFS文件创建和存储
小冷在努力~
09-10 5129
在对上篇hdfs网络拓扑与机架感知                              有了了解之后，现在对HDFS文件创建和存储过程做一个基础的介绍。 HDFS在文件创建和存储的过程中，需要考虑带宽和可靠性。如果在hdfs集群中选出datanode列表作为文件的存储节点呢？上篇已经介绍说了通过机架感知策略实现的。所以，在接下来的文件创建和存储过程中，已经拿到了文件存储的datanode列
文件系统简介与HDFS基础
wxk的博客
10-07 1363
介绍了文件系统的基本内容以及所要面临的一系列问题，同时讲述了HDFS中的一些指令
【HDFS基础】HDFS文件目录详解
热门推荐
白夜行
07-28 3万+
HDFS的文件目录图分析：从上图可以看出，HDFS的文件目录主要由NameNode、SecondaryNameNode和DataNode组成，而NameNode和DataNode之间由心跳机制通信。注： HDFS(Hadoop Distributed File System)默认的存储单位是128M的数据块。 可以执行命令vim /home/qingaolei/hadoop/hadoop-2.8.
HDFS常用命令
dc12499574的博客
04-04 814
1、查看指定文件path详细信息 hadoop fs -ls path 2、ls命令递归版本 hadoop fs -ls -R path 3、将指定path中的内容输出到标准输出 hadoop fs -cat path 4、递归修改指定文件path的归属者为user hadoop fs -chown [-R] user path 5、指定文件path权限修改 hadoop fs -chmod [-R] 权限描述 path 6、将指定文件path最后1KB的内容输出到标准输出 hadoop fs -tail
Linux 查看文件创建时间
Dablelv 的博客专栏。
11-29 3万+
在windows下，一个文件有：创建时间、修改时间、访问时间。而在Linux下，一个文件也有三种时间，分别是：访问时间（Access）、修改时间（Modify）、状态改变时间（Change）。使用stat命令查看文件的访问时间，修改时间和状态改变时间。 很不幸，Linux目前常见的文件系统是没有存储文件创建时间的，比如ext3就没有存储。但是有些文件系统是有的，尽管它们为创建时间使用的字段名称是不
hadoop常用shell命令
最新发布
06-01
Hadoop常用的shell命令有：hdfs dfs -ls列出HDFS中的文件和目录；hdfs dfs -rm删除HDFS中的文件；hadoop jar运行Hadoop的MapReduce任务；yarn application -list列出YARN上运行的应用程序；yarn application -kill杀...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值