Hadoop-HDFS shell操作完成移动通信数据管理

一、HDFS shell简介

HDFS为用户提供了shell操作命令来管理HDFS上的数据。这些shell命令和Linux命令十分类似，常用命令可以参考Linux常用命令。
HDFS基本命令格式如下：
/bin/hdfs/ dfs -cmd
cmd是具体的命令，cmd前面的“-”不能省略。

二、使用HDFS shell处理移动通讯数据

1、创建存放移动通信数据文件的目录

• 查看目录结构
  hdfs dfs -ls 目录路径
  示例：
  查看HDFS根目录下的文件
  输入指令：hdfs dfs -ls /
  

• 创建文件夹
  hdfs dfs -mkdir 文件夹名称
  示例：
  hdfs dfs -mkdir /Hdfsshell
  
  2、将移动通信数据上传到HDFS并进行管理

  • 上传文件
    hdfs dfs -put 本地路径 hdfs存放路径
    示例：
    hdfs dfs -put /root/data/lixi.txt /Hdfsshell
    查看是否上传成功： hdfs dfs -ls /Hdfsshell
    
  • 查看文件
    命令：hdfs dfs -test hdfs上的文件存放路径
    示例：
    查看上面 Hdfsshell/lixi.txt 中的数据文件内容
    hdfs dfs -text /Hdfsshell/lixi.txt
    
  • 下载文件
    命令：hdfs dfs -get hdfs存放路径 本地路径
    示例：
    把上面 Hdfsshell/lixi.txt 中的数据文件下载到本地opt文件夹下。
    hdfs dfs -get /Hdfsshell/lixi.txt /opt
    
  • 统计目录下文件大小
    命令：hdfs dfs -du 目录路径
    示例：
    统计 Hdfsshell 目录下 文件 lixi.txt 的大小。
    hdfs dfs -du /Hdfsshell
    
  • 删除文件
    命令：hdfs dfs -rm|rmr 文件存放路径
    示例：
    删除 Hdfsshell 目录下 lixi.txt 。
    hdfs dfs -rm /Hdfsshell/lixi.txt
    
    3、HDFS shell 帮助命令
    命令：hdfs dfs -help 命令
    示例：
    查看 rm 命令的帮助。
    hdfs dfs -help rm