Hadoop第三章：Shell命令

系列文章目录

Hadoop第一章：环境搭建
Hadoop第二章：集群搭建（上）
Hadoop第二章：集群搭建（中）
Hadoop第二章：集群搭建（下）
Hadoop第三章：Shell命令

---

---

前言

这次博客主要记录一些在Hadoop集群使用中的一些常用的Shell命令。实验之前先把集群启动一下。你可以使用脚本也可以手动启动一下，操作不演不演示了。

一、上传

创建一个测试文件夹，后边会用到。

hadoop fs -mkdir /sanguo

1.-moveFromLocal

本地剪切到HDFS

本地写一个测试文件

 echo shuguo > shuguo.txt

hadoop fs -moveFromLocal ./shuguo.txt /sanguo

并且当前文件夹的文本文件已经消失了。

2.-copyFromLocal

本地拷贝到HDFS

echo weiguo > weiguo.txt
hadoop fs -copyFromLocal ./weiguo.txt /sanguo

3.-put

等同于copyFromLocal，但是put更常用。

echo wuguo > wuguo.txt
hadoop fs -put ./wuguo.txt /sanguo

3.-appendToFile

追加到某个文件后面

echo liubei > liubei.txt
hadoop fs -appendToFile ./liubei.txt /sanguo/shuguo.txt

二、下载

1.-copyToLocal

从HDFS拷贝到本地

hadoop fs -copyToLocal /sanguo/shuguo.txt ./
cat shuguo.txt

2.-put

和-copyToLocal等价，但是更常用。

hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt
cat shuguo2.txt

一、HDFS直接操作

这个和Linux的命令大同小异，所以就简单演示几个。

1.展示文件夹

hadoop fs -ls /sanguo

2.显示文件内容

hadoop fs -cat /sanguo/shuguo.txt

3.删除文件

hadoop fs -rm -r /sanguo

---

总结

今次博客算是一次过渡性质的博客，所以没有什么太多太难的内容，学校刚刚宣布，取消五一假期了，悲催啊。