Hadoop Shell命令-（spark学习前奏）

最新推荐文章于 2022-12-16 16:07:59 发布

yibo17071

最新推荐文章于 2022-12-16 16:07:59 发布

阅读量435

点赞数

分类专栏：开始数据分析之旅

本文链接：https://blog.csdn.net/yibo492387/article/details/80075879

版权

开始数据分析之旅专栏收录该内容

26 篇文章 0 订阅

订阅专栏

有时候感觉自己就像一只瘦小的绵羊，被放在了一片无边无际的草原上，这里的小草丰腴而鲜美，面对着唾手可得的美味，只能默默的叹息，自己的胃是辣么辣么的小，啃呀啃呀消化不了，什么时候才能啃完，才能消化完，去外面的世界看一看呢？！

机器学习领域就像这片大草原一样，需要学习的东西太多太多，有时候好希望自己有魔法，魔法棒挥动之后，深度学习、spark等等各种算法各种工具我就都使用自如啦！然而现实是我经常被人鄙视，这也不会，那也不懂！想着那就学习起来吧，但是无奈于时间，无奈于自己的脑袋已经运转的不那么快了（或许自己的脑袋一直是运转这个速度吧），只能叹息一声，继续的望着那些大牛的背影而不敢有任何的造次！

还是言归正传吧，因为人生还得继续，同时还得愉快的继续，只能给自己以乐观的心态，学习一点是一点咯！怎么样我就是这也不会那也不懂，哼，我要是什么都会什么都懂，我还在这里，拿着这点靠近个税起征点的工资嘛！哼哼。

最近想用spark实现基于用户/物品的协同过滤算法，数据量大起来还得靠spark啊，单机python跑几个月的数据就很耗时啦！所以还是想着写个通用的，以后只要改变输入数据就可以输出相关商品的这种，其实同事马云龙有写了一套，基于scala的吧，应该是，虽然发给我了，但是里面涉及的内容太多，又不想去打扰他，问输入数据格式，云龙同学自带小宇宙，小宇宙的气场就是生人勿近，但是感觉内心应该也是很温暖的孩子！正好趁这个机会把pyspark学习下，起码入个门吧！加油！加油！加油！

想用spark就得先把数据从本地薅到hdfs文件系统中去，hadoop shell 命令就去关注了下，在这里总结一下常用的，下面的连接是最全的，如果不想听我的废话，可以直接看网址 http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html#putlink

PDF

Hadoop Shell命令

FS Shell

调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。

这段的意思就是：这个命令对本地文件系统和hdfs文件系统都通用，只要改变后面的目录就可以做到。一般的本地目录：file:/// ，hdfs目录：hdfs://

1.hadoop fs -ls <args>

若args为文件，则返回文件名、文件大小、修改日期、修改时间、权限、用户ID、组ID等信息吧（可以查看完整的URI信息）

hadoop fs -ls file:///home/dmpuser/liuhua/code/sparkTest/README.md

hadoop fs -ls hdfs:///user/dmpuser/liuhua/words.txt

若args为文件夹，则返回它直接子文件的一个列表，就像在Unix中一样。

hadoop fs -ls hdfs:///user/dmpuser/liuhua/

hadoop fs -ls file:///home/dmpuser/liuhua/code/sparkTest

2.hadoop fs -cat URI

这个是对文件操作，将指定的路径下的文件内容输出到stdout(标准输出框)中

hadoop fs -cat hdfs:///user/dmpuser/liuhua/words.txt

hadoop fs -cat file:///home/dmpuser/liuhua/code/sparkTest/README.md

3.hadoop fs -put <localsrc> ...<dst>

从哪个本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统

hadoop fs -put /home/dmpuser/liuhua/code/sparkTest/README.md /home/dmpuser/liuhua/code/sparkTest/wordcount.py hdfs:///user/dmpuser/liuhua

若在/home/dmpuser/liuhua/code/sparkTest/这个目录下输入该命令，可以省去本地文件目录的标注

hadoop fs -put README.md wordcount.py hdfs:///user/dmpuser/liuhua

hadoop fs -copyFromLocal <localsrc> URI

除了限定源路径是本地文件外，和put命令相似

4.hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>

复制文件到本地文件系统，可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

hadoop fs -get hdfs:///user/dmpuser/liuhua/words.txt /home/dmpuser/liuhua/code/sparkTest

若在/home/dmpuser/liuhua/code/sparkTest/这个目录下输入该命令，可以省去本地文件目录的标注，如下：

hadoop fs -get hdfs:///user/dmpuser/liuhua/words.txt

hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

除了限定目标路径是本地文件外，和get命令类似

5.hadoop fs -cp URI [URI …] <dest>

将hdfs文件从源路径复制到目标路径，此时目标路径必须是一个目录（该复制只针对hdfs系统内部复制）

hadoop fs -cp hdfs:///user/dmpuser/liuhua/words.txt hdfs:///user/dmpuser/

6.hadoop fs -mkdir <paths>

接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。

示例：

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir

7.hadoop fs -mv URI [URI...] <dest>

将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。
示例：

hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1

8.haddoop fs -mkdir <paths>

接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。

示例：