系列文章目录
Hadoop第一章:环境搭建
Hadoop第二章:集群搭建(上)
Hadoop第二章:集群搭建(中)
Hadoop第二章:集群搭建(下)
Hadoop第三章:Shell命令
文章目录
前言
这次博客主要记录一些在Hadoop集群使用中的一些常用的Shell命令。实验之前先把集群启动一下。你可以使用脚本也可以手动启动一下,操作不演不演示了。
一、上传
创建一个测试文件夹,后边会用到。
hadoop fs -mkdir /sanguo
1.-moveFromLocal
本地剪切到HDFS
本地写一个测试文件
echo shuguo > shuguo.txt
hadoop fs -moveFromLocal ./shuguo.txt /sanguo
并且当前文件夹的文本文件已经消失了。
2.-copyFromLocal
本地拷贝到HDFS
echo weiguo > weiguo.txt
hadoop fs -copyFromLocal ./weiguo.txt /sanguo
3.-put
等同于copyFromLocal,但是put更常用。
echo wuguo > wuguo.txt
hadoop fs -put ./wuguo.txt /sanguo
3.-appendToFile
追加到某个文件后面
echo liubei > liubei.txt
hadoop fs -appendToFile ./liubei.txt /sanguo/shuguo.txt
二、下载
1.-copyToLocal
从HDFS拷贝到本地
hadoop fs -copyToLocal /sanguo/shuguo.txt ./
cat shuguo.txt
2.-put
和-copyToLocal等价,但是更常用。
hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt
cat shuguo2.txt
一、HDFS直接操作
这个和Linux的命令大同小异,所以就简单演示几个。
1.展示文件夹
hadoop fs -ls /sanguo
2.显示文件内容
hadoop fs -cat /sanguo/shuguo.txt
3.删除文件
hadoop fs -rm -r /sanguo
总结
今次博客算是一次过渡性质的博客,所以没有什么太多太难的内容,学校刚刚宣布,取消五一假期了,悲催啊。