1 shell操作的准备工作
我们需要在.bashrc 文件中配置环境变量,这样hadoop命令才可以方便的直接写,而不用在写全路径去执行
- 1
- 2
同时必须明确在这里我们涉及到两种路径:一个是本地(Linux文件系统的路径)是看的见得;一个是HDFS集群的文件路径(虽然HDFS在Linux上,但与本地不一样),在本地Linux是找不到的,他是一个逻辑上的路径.
2、常用的Shell命令
(1)查看帮助手册
- 1
- 2
- 3
(2)显示hdfs集群中的所有文件——————-查看文件列表
- 1
(3)在hdfs集群上创建目录test2 ——————————创建文件
- 1
(4)将本地文件上传到(复制到)hdfs集群上—————–上传
hadoop fs -put ./huangbo.txt /test2
或
- 1
(5)将hdfs集群的文件下载到(复制到)本地
- 1
或
hadoop fs -copyToLocal /test2/huangbo.txt /home/hadoop
————下载
(6)将本地文件上传到(剪切到)hdfs集群上
- 1
(7) 将hdfs集群上文件上传到(剪切到)本地上
- 1
(6)将hdfs集群中的某个文件复制到hdfs集群中的另一个目录中(将huangbo.txt拷贝test3) —–hdfs内部之间文件拷贝
- 1
(7)将hdfs集群中的某个文件剪切到该hdfs集群中的另一个目前中 —–hdfs内部之间文件剪切
- 1
(8)删除hdfs集群中文件或文件夹 - —————————————————文件删除
- 1
清除空目录
- 1
(9)将hdfs集群中的两个文件内容进行合并,并下载到本地 ——————文件合并
- 1
此时a.txt中内容就是huangbo.txt与xuzheng.txt的内容
(10)追加本地文件的内容到hdfs集群上的指定文件内容中去 ————————–文件追加
- 1
此时hh.txt中的内容便是两者的结合
(11)展示hdfs集群中指定文件的内容 ——————————查看文件内容
- 1
- 2
- 3
(12)统计hdfs集群中指定目录的文件节点的数量 —————————–查看文件数量
- 1
(13)设置hdfs集群文件备份数量 —————–设置文件备份