学习笔记--【Hadoop生态学习：代码命令】

最新推荐文章于 2023-02-24 10:49:03 发布

zenas_yuan

最新推荐文章于 2023-02-24 10:49:03 发布

阅读量85

点赞数

分类专栏： Hadoop 文章标签： hadoop hbase big data

本文链接：https://blog.csdn.net/supremacy_IQ/article/details/122103454

版权

Hadoop 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

一、Hadoop

1.hdfs

2.yarn

3.map reduce

4.liunx shell

5.hadoop shell命令

启动hdfs、mapreduce、yarn、全部启动

  $ bin/start-dfs.sh 
  $ bin/start-mapred.sh
    start all

停止hdfs

 $ bin/stop-dfs.sh
 $ bin/stop-mapred.sh

查看集群启动情况

jps

查看目录全部文件

ls

查看hdfs文件

hadoop fs -ls <args>

创建文件夹

hadoop fs -mkdir <paths>
$ bin/hadoop dfs -mkdir /foodir

查看名为 /foodir/myfile.txt 的文件内容

hadoop fs -cat URI [URI …]
$ bin/hadoop dfs -cat /foodir/myfile.txt

改变文件权限

hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

改变文件拥有者

hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

改变文件所属组

hadoop fs -chgrp [-R] GROUP URI [URI …]

copyFromLocal

使用方法：hadoop fs -copyFromLocal <localsrc> URI

除了限定源路径是一个本地文件外，和put命令相似。

copyToLocal

使用方法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

除了限定目标路径是一个本地文件外，和get命令类似。

cp

使用方法：hadoop fs -cp URI [URI …] <dest>

将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。
示例：

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

du

使用方法：hadoop fs -du URI [URI …]

显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。

dus

使用方法：hadoop fs -dus <args>

显示文件的大小。

expunge

使用方法：hadoop fs -expunge

清空回收站。请参考HDFS设计文档以获取更多关于回收站特性的信息。

get

复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>

getmerge

接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。

hadoop fs -getmerge <src> <localdst> [addnl]

lsr:ls命令的递归版本。类似于Unix中的ls -R。

hadoop fs -lsr <args>

mv

将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。

hadoop fs -mv URI [URI …]
hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1

成功返回0，失败返回-1。

put

从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。

hadoop fs -put <localsrc> ... <dst>

hadoop fs -put localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
hadoop fs -put - hdfs://host:port/hadoop/hadoopfile

成功返回0，失败返回-1。

rm:删除指定的文件。只删除非空目录和文件。请参考rmr命令了解递归删除。

hadoop fs -rm URI [URI …]

成功返回0，失败返回-1。

rmr:delete的递归版本。

hadoop fs -rmr URI [URI …]

成功返回0，失败返回-1。

setrep：改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。

hadoop fs -setrep [-R] <path>

成功返回0，失败返回-1。

stat：返回指定路径的统计信息。

hadoop fs -stat URI [URI …]

成功返回0，失败返回-1。

tail：将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致。

hadoop fs -tail [-f] URI

成功返回0，失败返回-1。

test

hadoop fs -test -[ezd] URI

选项：
-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。
-d 如果路径是个目录，则返回1，否则返回0。

text：将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

hadoop fs -text <src>

touchz ：创建一个0字节的空文件。

hadoop fs -touchz URI [URI …]

成功返回0，失败返回-1。

hadoop命令大全 - Silence。、 - 博客园 (cnblogs.com) 有完整的hadoop shell

二、Hbase

(48条消息) HBase Shell命令大全_monday的博客-CSDN博客_hbase shell命令https://blog.csdn.net/vbirdbest/article/details/88236575

(48条消息) HBase 常用Shell命令_335046781的博客-CSDN博客https://blog.csdn.net/weixin_30378311/article/details/97635710?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164024396116780274137287%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=164024396116780274137287&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-2-97635710.pc_search_mgc_flag&utm_term=hbase+shell%E5%91%BD%E4%BB%A4&spm=1018.2226.3001.4187