第3章Hadoop基本命令和Java API

目录

3.1Hadoop中HDFS的常用命令

3.1.1基于Shell的操作

        1.创建目录命令

        2.上传文件到HDFS

        3.列出HDFS上的文件

        4.查看HDFS下某个文件的内容

        5.将HDFS中的文件复制到本地系统中

        6.删除HDFS下的文档

3.2基于Java API的操作

3.2.1前期准备

        （1）windows安装hadoop

         （2）IDEA创建项目

        （3）添加jar包到我们的项目中

3.2.2基于Java API的操作

---

3.1Hadoop中HDFS的常用命令

        我们已经知道的HDFS是分布式存储，可以存放大批量的文件，如果要对文件进行操作可以通过下面的命令来完成，如读取文件，上传文件，删除文件和建立目录等。HDFS提供了两种访问方式，分别是基于Shell和Java API。

3.1.1基于Shell的操作

        以下介绍我们在Shell中操作HDFS时经常用到的命令

        1.创建目录命令

        HDFS创建目录的命令时mkdir，命令格式如下

hdfs dfs -mkdir 文件名

        命令示例：

hdfs dfs -mkdir /demo   #在hdfs的根目录下创建demo文件夹

hdfs dfs -mkdir -p /demo/test  #在hdfs根目录下递归创建文件夹  /demo/test

        2.上传文件到HDFS

        上传文件时，文件首先复制到DataNode上，只有所有的DataNode都接受完整数据，文件上传才是成功。命令格式如下：

hdfs dfs -put filename 路径

        命令示例：

hdfs dfs -put test.txt /demo   #把test.txt文件放到demo文件夹下

        3.列出HDFS上的文件

        采用-ls命令来列出HDFS上的文件，需要注意的时在HDFS中没有“当前工作目录”这个概念。命令格式如下：

hdfs dfs -ls 路径

        命令示例：

hdfs dfs -ls /demo

        4.查看HDFS下某个文件的内容

        通过“-cat 文件名”查看，命令格式如下

hdfs dfs -cat 文件名

        命令示例：

hdfs dfs -cat /demo/test.txt

        5.将HDFS中的文件复制到本地系统中

        通过“-get 文件1 文件2”命令将HDFS中某个目录下的文件复制到本地系统的某文件中。命令格式如下：

hdfs dfs -get 文件名 本地路径

        命令示例：

hdfs dfs -get /demo/test.txt /  #将demo文件夹下的test.txt文件复制到本地根目录下

        6.删除HDFS下的文档

        通过“-rmr 文件” 命令删除HDFS下的文件。命令格式如下：

hdfs dfs -rm -r 文件

        命令示例：

hdfs dfs -rm -r /demo/test.txt  #删除demo文件夹下的test.txt文件