预装实验2：HDFS编程

最新推荐文章于 2024-05-15 10:40:31 发布
最新推荐文章于 2024-05-15 10:40:31 发布
阅读量735 收藏 2
点赞数 1
分类专栏： hadoop 文章标签： hadoop big data java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41166909/article/details/120867468
版权
本文档详细介绍了如何使用 Hadoop Java API 对 HDFS 进行操作，包括创建目录、判断目录存在性、列出目录内容、删除目录和文件、文件读写、重命名及删除等操作。此外，还给出了实验环境准备、代码实现和实验作业，帮助读者深入理解 HDFS 编程。
摘要由CSDN通过智能技术生成

1. 【实验介绍】

1. 实验内容

本实验利用 Hadoop 提供的 Java API 进行编程对 HDFS 进行操作。

  1. 实验目标

    通过本实验掌握利用 Hadoop 提供的 Java API 进行编程对 HDFS 进行操作。

  2. 实验知识点

    Hadoop Java API

    HDFS 目录操作

  3. 实验环境

    Hadoop 2.7.1

    Eclipse 4.8.0

    CourseGrading在线实验环境

  4. 预备知识

    Hadoop 基本操作

    MapReduce 编程基础

    HDFS 基本操作

    Java 编程基础

2. 【实验原理】HDFS文件系统编程框架

1. 【实验原理】HDFS文件系统编程框架以下代码为HDFS文件系统的编程框架：

01 import org.apache.hadoop.conf.Configuration;
02 import org.apache.hadoop.fs.FileSystem;
04 public class FileExist {
05     public static void main(String[] args) {
06         try {
07             Configuration conf = new Configuration();
08             FileSystem fs = FileSystem.get(conf);
09         }catch(Exception e) {
10             e.printStackTrace();
11         }
12     }
13 }

上述代码的第7行到第8行为根据配置（Configuration）创建文件系统。文件编程的接口大多都是基于FileSystem类提供的方法进行的，在获得fs对象后，就可以对文件进行操作了。

FileSystem类中各方法的详细含义可参考：FileSystem (Apache Hadoop Main 3.3.1 API)

3. 【环境准备】

1. 【环境准备】### 快捷部署

集群版的大数据实验支持一键快捷部署，自动完成前期的部署工作。具体操作如下

1. 启动命令终端

右键桌面，进入命令终端。

2.输入启动命令

在终端中输入./setuphadoop后，按Enter键，启动一键部署工具。

 

3.在部署过程中的操作

在执行到下图的步骤时，需要按下两次Enter键继续执行。

 

4.部署完成

到下图步骤时，部署工具已执行完成。

 

5.验证是否部署成功

打开浏览器，访问172.18.0.2:50070，点击Datanodes栏目，查看三个slave节点是否在线。

此时集群已经部署完毕，可以继续进行实验了。

 

4. 【实验准备】

1. 【实验准备】# 创建工作目录

本实验的工作目录为~/course/hadoop/hdfs_pro，使用以下命令创建和初始化工作目录：

$ mkdir -p ~/course/hadoop/hdfs_pro
$ cd ~/course/hadoop/hdfs_pro

安装部署Hadoop集群

参考《Hadoop安装部署》实验，安装有三个数据节点的Hadoop集群

创建eclipse工程

接下来创建eclipse工程：

在终端输入eclipse&命令从后台启动Eclipse IDE环境。

依次点击：File->New->Project->Map/Reduce Project->Next。

在项目名称（Project Name）处填入hdfs_pro，将工程位置选择为本实验的工作目录，再点击Finish。

如下图所示：

 

如果需要设置hadoop路径，点击Configure Hadoop install directory...，选择hadoop路径为/headless/dev/hadoop-2.7.1,如下所示：

 

5. 【实验步骤】目录的相关操作

1. 【实验步骤】目录的相关操作# 一、创建目录

1、相关接口说明

创建目录可以使用FileSystem的mkdirs方法，该方法的含义如下：

  1. 函数原型：public boolean mkdirs(Path f) throws IOException

  2. 函数功能：调用该方法，根据f指定的路径创建目录。目录的权限为默认权限。

  3. 参数说明：f，Path对象。表示要创建的目录的路径。

  4. 返回值：如果目录成功创建，返回true。

  5. 异常：如果遇到IO故障，抛出IOException异常。

mkdirs还有一个带有目录权限参数的版本，其原型为：

public abstract boolean mkdirs(Path f, FsPermission permission) throws IOException

2、完整实验代码

将 hdfs_pro 项目下 src 目录新建名为 CreateDir 的类

（选中src文件夹->File->new->Class->在name选项中填入 CreateDir->Finish）

该实验的完整实验代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class CreateDir {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(conf);
            String dirPath = args[0]; // 新建目录的路径由外部传入
        Path hdfsPath = new Path(dirPath);  
        if(fs.mkdirs(hdfsPath)){
                System.out.println("Directory "+ dirPath +" has been created successfully!");
        }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

将该代码拷贝到CreateDir.java文件中。如下图所示：

 

以上代码中主要调用fs的mkdirs方法来创建目录，如果目录创建成功，会输出相应提示信息。

3、运行结果分析

在CreateDir.java上，点击右键，选择Export ，导出 Jar 包。

 

注意选择导出的路径为本实验的工作目录。

 最后设置MainClass

 

新建一个终端，切换到jar包所在的目录，然后将导出的jar包传到master节点上。

cd ~/course/hadoop/hdfs_pro
cp CreateDir.jar /cgsrc

进入master节点，查看hdfs文件系统上当前目录下的内容，然后输入如下hadoop jar命令创建目录，最后再查看是否创建成功：

docker exec -it --privileged master /bin/bash
hadoop fs -ls .
hadoop jar /cgsrc/CreateDir.jar newdir
hadoop fs -ls .

运行结果的截图如下：

 

如图所示，目录newdir 已经被成功创建。

二、目录存在性判断

1、相关接口说明

判断文件是否存在需要使用FileSystem的exists方法，该方法的详细含义如下：

方法名：exists

方法原型：public boolean exists(Path f) throws IOException

接口功能：检查某个路径所指的目录是否存在。

接口说明：参数f的含义为源路径。如果目录存在，返回值为true。如果IO故障会抛出IOException异常。

2、完整实验代码

将 hdfs_pro项目下src目录新建名为DirExist的类

（选中src文件夹->File->new->Class->在name选项中填入 DirExist->Finish）

该实验的完整代码如下所示：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class DirExist {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(conf);
            String dirName = args[0];
            if(fs.exists(new Path(dirName ))) {
                System.out.println("Directory Exists!");
            } else {
                  System.out.println("Directory not Exists!");
            }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析

使用和上一节相同的方法导出 DirExist.jar，并导出到master节点上，并在master节点上使用如下hadoop jar命令提交运行。

hadoop jar /cgsrc/DirExist.jar newdir

结果如下：

 

如图所示，程序判断无误。

三、列出目录中的内容

1、相关接口说明

在HDFS文件系统上浏览某个目录中子文件和子目录时，需要使用FileSystem类提供的listStatus方法，该方法将返回该目录下所有子文件和子目录的详细信息，包括文件的长度、块大小、备份数、修改时间、所有者以及权限等信息，这些信息都被封装在FileStatus对象中。调用listStatus方法时需要提供目录的路径，listStatus方法的详细说明如下：

函数原型：public abstract FileStatus[] listStatus(Path f) throws FileNotFoundException, IOException

函数功能：根据输入参数f所指定的目录，列出该目录下所有子文件/子目录的详细信息。注意，该接口不保证返回的文件/目录信息是有序的。

函数参数：f，指定目录的路径。

返回值：f所指定的目录下所有子文件/子目录的详细信息。

异常：两种异常，FileNotFoundException和IOException。当所指定的目录不存在时，抛出FileNotFoundException异常。当遇到IO故障时，返回IOException异常。

2、完整实验代码

将 hdfs_pro项目下 src 目录新建名为 ListFiles 的类

（选中src文件夹->File->new->Class->在name选项中填入 ListFiles->Finish）

该实验的完整代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
public class ListFiles {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(conf);
            String filePath = args[0];
            Path srcPath = new Path(filePath);
            FileStatus[] stats = fs.listStatus(srcPath);
            Path[] paths = FileUtil.stat2Paths(stats);
            for(Path p : paths)
                  System.out.println(p.getName());
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析

使用和上节相同的方法导出 ListFiles.jar，并导出到master节点上，并在master节点上使用如下hadoop jar命令提交运行。

hadoop jar ListFiles.jar .

运行结果如下：

 

如图，程序成功列出了mydir目录下的所有文件。（如果当前目录没有newDir文件夹，可使用前面步骤提到的方法创建该文件夹，再进入该文件夹下继续创建文件夹，最后退出该文件夹后运行该jar包查看实验效果）。

四、删除目录

1、相关接口说明

删除文件可以使用FileSystem的delete接口，该接口的含义如下：

  1. 函数原型：public abstract boolean delete(Path f,boolean recursive) throws IOException

  2. 函数功能：删除文件或者目录。

  3. 参数说明：f，要删除的文件或者目录的路径。recursive，是否需要递归删除。如果是删除目录的话，将该参数设置为true。否则，设置为false.

  4. 返回值：如果成功删除，则返回true。否则，返回false。

  5. 如果遇到IO故障，会抛出IOException。

2、完整实验代码

将 hdfs_pro项目下 src 目录新建名为DeleteDir的类

（选中src文件夹->File->new->Class->在name选项中填入 DeleteDir->Finish）

该实验的完整代码如下所示：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class DeleteDir {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(conf);
            String dirPath = args[0];
        Path hdfsPath = new Path(dirPath);  
        if(fs.delete(hdfsPath,true)){
            System.out.println("Directory "+ dirPath +" has been deleted successfully!");
        }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析

使用和上节相同的方法导出DeleteDir.jar，并导出到master节点上，并在master节点上使用如下hadoop jar命令提交运行。

hadoop jar DeleteDir.jar newdir

运行结果如下：

 

可以看到，上一节创建的 newdir 目录被成功删除。

6. 【实验步骤】文件的相关操作

1. 【实验步骤】文件的相关操作# 一、创建文件

1、相关接口说明

使用FileSystem的create函数可以创建文件，根据参数的不同，create函数有以下几种重载类型：

public FSDataOutputStream create(Path f) throws IOException

public FSDataOutputStream create(Path f,boolean overwrite) throws IOException

public FSDataOutputStream create(Path f,Progressable progress) throws IOException

public FSDataOutputStream create(Path f,short replication) throws IOException

public FSDataOutputStream create(Path f,short replication,Progressable progress) throws IOException

public FSDataOutputStream create(Path f,boolean overwrite,int bufferSize) throws IOException

public FSDataOutputStream create(Path f,boolean overwrite,int bufferSize,Progressable progress) throws IOException

public FSDataOutputStream create(Path f,boolean overwrite,int bufferSize,short replication,long blockSize) throws IOException

public FSDataOutputStream create(Path f,boolean overwrite,int bufferSize,short replication,long blockSize,Progressable progress)throws IOException

public abstract FSDataOutputStream create(Path f,FsPermission permission,boolean overwrite,int bufferSize,short replication,long blockSize,Progressable progress) throws IOException

public FSDataOutputStream create(Path f,FsPermission permission,EnumSet<CreateFlag> flags,int bufferSize,short replication,long blockSize,Progressable progress) throws IOException

public FSDataOutputStream create(Path f,FsPermission permission,EnumSet<CreateFlag> flags,int bufferSize, short replication,long blockSize,Progressable progress, org.apache.hadoop.fs.Options.ChecksumOpt checksumOpt) throws IOException

上述接口中，各参数的含义分别如下：

f，要打开的文件名，默认会覆盖已经存在的文件。

overwrite，如果要创建的文件已经存在，是否覆盖。设置为true时，覆盖；为false时，不覆盖。

progress，用于汇报进度信息。

replication，设置文件块的副本数量。

bufferSize，所使用的缓冲区的大小。

blockSize，块大小。

permission，设置文件的权限。

flags，指定文件创建标志，文件创建标志包括：CREATE，APPEND，OVERWRITE ，SYNC_BLOCK ，LAZY_PERSIST ，APPEND_NEWBLOCK等。

2、完整实验代码

将 hdfs_pro项目下 src 目录新建名为 CreateFile 的类

（选中src文件夹->File->new->Class->在name选项中填入CreateFile->Finish）

此次实验的完整代码如下所示：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class CreateFile {
    public static void main(String[] args) {
        try {
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        String filePath = args[0];
          Path hdfsPath = new Path(filePath);  
          fs.create(hdfsPath);
        }catch(Exception e) {
              e.printStackTrace();
        }
    }
}

3、运行结果分析

使用和上节相同的方法导出 CreateFile.jar，并导出到master节点上，并在master节点上使用如下hadoop jar命令提交运行(执行命令前记得切换到CreateFile.jar所在目录/cgsrc,后续步骤不再赘述)。

hadoop jar CreateFile.jar newfile.txt

运行结果如下：

 

如图所示，文件已经成功被创建。

二、文件存在性判断

1、相关接口说明

判断文件是否存在需要使用FileSystem的exists方法，该方法的详细含义如下：

方法名：exists

方法原型：public boolean exists(Path f) throws IOException

接口功能：检查某个路径所指的文件是否存在。

接口说明：参数f的含义为源路径。如果文件存在，返回值为true。如果IO故障会抛出IOException异常。

2、完整实验代码

该实验的完整代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class FileExist {
    public static void main(String[] args) {
        try {
              Configuration conf = new Configuration();
              FileSystem fs = FileSystem.get(conf);
              String fileName = args[0];
              if(fs.exists(new Path(fileName))) {
                    System.out.println("File Exists!");
              } else {
                    System.out.println("File not Exists!");
              }
        }catch(Exception e) {
              e.printStackTrace();
        }
    }
}

3、运行结果分析

导出FileExist.jar 后，并导出到master节点上，并在master节点上使用如下hadoop jar命令提交运行。

hadoop jar FileExist.jar newfile.txt

运行结果如下：

 可以发现newfile.txt存在。

三、文件写

1、相关接口说明

HDFS不支持文件的随机写，写文件的方式有两种：1）文件不存在，创建文件之后，开始对文件的内容进行写入。2）文件存在，打开文件，在文件尾部追加写。

对于第一种方式，由于调用create方法后会返回FSDataOutputStream对象，使用该对象对文件进行写操作。第二种方式，使用FileSystem类的append接口，该接口也会返回FSDataOutputStream对象，同样使用该对象可对文件进行追加操作。

create方法在文件创建实验中已经进行了详细说明，这里对FSDataOutputStream的相关常用方法进行说明，FSDataOutputStream有三个常用的方法，分别为write，flush，close函数。write将数据写入到文件中，flush将数据缓存在内存中的数据更新到磁盘，close则关闭流对象。

FileSystem的append函数详细说明如下：

函数原型：public FSDataOutputStream append(Path f) throws IOException

函数功能：在一个已经存在的文件尾部追加数据。

函数参数：f，文件路径。

返回值：FSDataOutputStream对象。

异常：遇到IO故障时，抛出IOException异常。

2、完整实验代码

将hdfs_pro项目下 src 目录新建名为 WriteFile 的类

（选中src文件夹依次点击File->new->Class，在name选项中填入WriteFile，最后点击Finish）

该实验的完整代码如下所示：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WriteFile {
    public static void main(String[] args) {
        try {
              Configuration conf = new Configuration();
              FileSystem fs = FileSystem.get(conf);
              String filePath = args[0];
              Path srcPath = new Path(filePath);
              FSDataOutputStream os = fs.create(srcPath,true,1024,(short)1,(long)(1<<26));
              String str = "Hello, this is a sentence that should be written into the file.\n";
              os.write(str.getBytes());
              os.flush();
              os.close();
            
              os = fs.append(srcPath);
              str = "Hello, this is another sentence that should be written into the file.\n";
              os.write(str.getBytes());
              os.flush();
              os.close();
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

该代码中，文件的写入分为两部分，第一部分使用create返回的FSDataOutputStream对象进行写入，第二部分使用append返回的FSDataOutputStream对象进行写入。

3、运行结果分析

导出 WriteFile.jar 后，并导出到master节点上，并在master节点上使用如下hadoop jar命令提交运行。

hadoop jar WriteFile.jar WriteFile newfile.txt

运行结果如下：

 

如图所示，文件成功写入。

四、文件读

1、相关接口说明

如果要读取HDFS上的文件，可以使用open方法。open方法会返回一个FSDataInputStream对象，使用该对象可对文件进行读操作。open函数详细说明如下：

函数原型：public FSDataInputStream open(Path f) throws IOException

函数功能：打开Path对象f指定的路径的文件。

参数说明：f，要打开的文件。

返回值：FSDataInputStream对象，利用FSDataInputStream对象可对文件进行读操作。

异常：遇到IO故障时，将抛出IOException。

open方法还有一个带有bufferSize参数的重载版本，该方法的原型为：

public abstract FSDataInputStream open(Path f,int bufferSize) throws IOException

其中，bufferSize的含义为读取过程中所使用的缓冲区的大小。

2、完整实验代码

将 hdfs_pro项目下 src 目录新建名为 ReadFile 的类

（选中src文件夹->File->new->Class->在name选项中填入ReadFile->Finish）

该实验的完整代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class ReadFile {
    public static void main(String[] args) {
        try {
              Configuration conf = new Configuration();
              FileSystem fs = FileSystem.get(conf);
              String filePath = args[0];
              Path srcPath = new Path(filePath);
            
              FSDataInputStream is = fs.open(srcPath);
              while(true) {
                    String line = is.readLine();
                    if(line == null) {
                          break;
                    }
                    System.out.println(line);
            }
                is.close();
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析 导出ReadFile.jar后，并导出到master节点上，并在master节点上使用如下hadoop jar命令提交运行。

hadoop jar ReadFile.jar newfile.txt

运行结果如下：

 如图，文件中的内容成功被读取。

五、文件重命名

1、相关接口说明

文件重命名可以使用FileSystem的rename方法，该方法的详细说明如下：

函数原型：public abstract boolean rename(Path src,Path dst)throws IOException

函数功能：将路径src重命名为路径dst。

参数：src，将被重命名的路径。dst，重命名后的路径。

返回值：如果重命名成功，返回true；否则，返回false；

异常：如果遇到IO故障，抛出IOException异常。

2、完整实验代码

将 hdfs_pro项目下 src 目录新建名为 Rename 的类

（选中src文件夹->File->new->Class->在name选项中填入Rename->Finish）

该实验的完整代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Rename {
    public static void main(String[] args) {
        try {
              Configuration conf = new Configuration();
              FileSystem fs = FileSystem.get(conf);
              String srcStrPath = args[0];
              String dstStrPath = args[1];
              Path srcPath = new Path(srcStrPath);
              Path dstPath = new Path(dstStrPath);
          if(fs.rename(srcPath,dstPath)) {
                System.out.println("rename from " + srcStrPath + " to " + dstStrPath + "successfully!");
          }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析

导出 Rename.jar 后，并导出到master节点上，并在master节点上使用如下hadoop jar命令提交运行。

hadoop jar Rename.jar newfile.txt file.txt

运行结果如下：

 

如图可以发现文件已经重命名。

六、文件删除

1、相关接口说明

删除文件可以使用FileSystem的delete接口，该接口的含义如下：

  1. 函数原型：public abstract boolean delete(Path f,boolean recursive) throws IOException

  2. 函数功能：删除文件或者目录。

  3. 参数说明：f，要删除的文件或者目录的路径。recursive，是否需要递归删除。如果是删除目录的话，将该参数设置为true。否则，设置为false.

  4. 返回值：如果成功删除，则返回true。否则，返回false。

  5. 如果遇到IO故障，会抛出IOException。

2、完整实验代码

将 hdfs_pro 项目下 src 目录新建名为 DeleteFile的类

（选中src文件夹->File->new->Class->在name选项中填入DeleteFile->Finish)

该实验的完整代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class DeleteFile {
    public static void main(String[] args) {
        try {
              Configuration conf = new Configuration();
              FileSystem fs = FileSystem.get(conf);
              String filePath = args[0];
          Path hdfsPath = new Path(filePath);  
          if(fs.delete(hdfsPath,false)){
              System.out.println("File "+ filePath +" has been deleted successfully!");
          }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析

导出 DeleteFile.jar 后，并导出到master节点上，并在master节点上使用如下hadoop jar命令提交运行。

hadoop jar DeleteFile.jar file.txt

运行结果如下：

 

file.txt 已经被删除。

7. 【实验作业1】自己动手实现HDFS Shell

1. 【实验作业1】自己动手实现HDFS Shell基于已经学习到的Hadoop API编程知识，自己动手实现一个简单的HDFS Shell程序，程序名称为HShell，要求能够支持以下功能：

1.使用HShell -cp 本地路径 HDFS路径，将文件从Linux本地文件系统拷贝到HDFS指定路径上。

2.使用HShell -rm 路径删除文件

3.使用HShell -rm -r 路径删除目录

4.使用HShell -cp -r 本地目录路径 HDFS路径，将目录从Linux本地拷贝到HDFS指定路径上。

5.使用HShell -list 路径显示某个文件的信息或者某个目录的信息

6.使用HShell -mv 路径 路径移动文件或者重命名文件

7.使用HShell -find 文件名 目录实现在目录下递归查找某个文件名的文件。

Hadoop——实验三：Hadoop集群安装部署
maochaofei的博客
06-14 2911
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 安装Hadoop集群 1.1 网络配置 1.2 SSH无密码登录配置 1.3 集群分布式环境配置 1.4 配置文件传输至节点 1.5 启动Hadoop集群 2. 完成分布式实例 2.1 在HDFS上创建用户目录 2.2 运行MapReduce作业分布式实例 一. 实验目的   掌握Hadoop集群集群安装部署技术。 二. 实验内容   参考：http://dblab.xmu.edu.cn/blog/install-hadoop-cluste
Hadoop实验2：HDFS操作
qq_60980343的博客
12-21 2359
目录 一、查看目录 二、创建目录 三、删除目录 四、文件上传 五、文件下载 六、查看文件内容 七、查看文件大小 八、复制文件 九、重命名/移动文件 十、文件权限修改 十一、删除文件 一、查看目录 命令使用格式：hadoop fs -ls 目录名 执行效果： 二、创建目录 使用格式：hadoop fs -mkdir 目录名 执行效果： 注意事项：如果需要创建多层目录，可以使用参数“-p”。例如创建目录/test/test1/test2/test3，...
Hadoop实验-读写HDFS文件
werhkrwjk的博客
09-18 186
如果将Java执行环境比喻为操作系统，如果设置Path变量是为了让操作系统找到指定的工具程序(以Windows来说就是找到.exe文件)，则设置Classpath的目的就是让Java执行环境找到指定的Java程序(也就是.class文件)。为了节约时间，将更多的精力用于实现读写HDFS文件，在大数据实验一体机的相关下载页面中已经提供了2.6.5版本的hadoop插件和相关的hadoop包下载，实验人员可以直接下载这些插件，快速在Eclipse中进行安装，开发自己的hadoop程序。classpath1;
实验三 Hadoop HA 集群的安装
weixin_43482612的博客
11-08 338
实验目的 1、linux 基础知识和操作命令，如 vi、mkdir、cp、mv、tar、wget、scp 等等 2、下载安装和环境变量配置 3、zookeeper 基础原理和功能 4、Hadoop 基础知识，如：HDFS、YARN、NameNode、DataNode、active、Standby 机制等等 5、掌握 Hadoop HA 的配置方法 6、掌握 Hadoop HA 启动和测试方法 实验环境 1、64 位电脑，8G 以上内存 2、win10 系统 3、本实验是在实验一、实验二的基础上操作的，有关软
HDFS 实验 (三) hadoop节点配置
weixin_34192732的博客
04-13 216
vi /etc/hosts添加节点dns信息192.168.209.157 node1192.168.209.158 node2192.168.209.159 node3vi /etc/profile添加运行目录export HADOOP_HOME=/home/hadoop/hadoop-3.1.0exportPATH=$PATH:$HADOOP_HOME/bin复制到各节点过去scp /etc/...
大数据实验二-HDFS编程实践
04-03
1. **理论与实践相结合**：实验中既有理论学习也有实践操作，这种方式有助于加深对HDFS及其相关技术的理解。 2. **技术应用前景广阔**：随着大数据时代的到来，HDFS作为核心的数据存储解决方案，在互联网、金融、...
Hadoop实验3：HDFS编程
qq_60980343的博客
12-21 1847
目录 一. 【实验准备】 1.创建工作目录 2.安装部署Hadoop集群 3.创建eclipse工程 二、创建目录 1、相关接口说明 2、完整实验代码 3、运行结果分析 三、目录存在性判断 1、相关接口说明 2、完整实验代码 3、运行结果分析 四、列出目录中的内容 1、相关接口说明 2、完整实验代码 3、运行结果分析 五、删除目录 1、相关接口说明 2、完整实验代码 3、运行结果分析 六、创建文件 1、相关接口说明 2、完整实验代码 3、运行结果分析 ..
实验二、HDFS shell操作及HDFS Java API编程
04-10
适合刚接触hadoop的学生或小白，内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
大数据入门系列 5：全网最全，Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作_hdfs目录操作
最新发布
2401_84573042的博客
05-15 492
这里 /user/bailu 就是一个多级目录，因此必须使用参数 -p，否则会出错。
山东大学大数据实验三：Hadoop实现PageRank
05-26
压缩包里面是源代码，导出成jar包可以在集群上直接运行，记得改程序里面的学号
Hadoop搭建及MR编程-实验报告
01-01
一、实验目的 1. 了解熟悉linux命令。 2. 学习hadoop的安装和配置。 3. 学习编写基础的MR代码。 二、实验内容 1. 建立hadoop 完全分布式模式。 2. 上传数据并且对数据进行查询。 3. 通过安装Hadoop了解Hadoop的原理
有关hadoop的四个实验
08-17
实验1：Hadoop 安装与配置管理 实验2：HDFS实验 实验3:VARN技术 实验4：MapReduce技术 实验5：MapReduce编程 实验6 Hadoop气象数据集实战
Hadoop云计算实验报告
06-14
在虚拟机Ubuntu上安装Hadoop单机模式和集群； 编写一个用Hadoop处理数据的程序，在单机和集群上运行程序。
大数据处理实验（三）HDFS基本操作实验
qq_46147238的博客
04-28 5874
HDFS基本操作实验一、Hadoop配置环境变量列出当前目录下的文件级联创建一个文件夹，类似这样一个目录：/mybook/input上传文件至HDFS从HDFS上下载文件查看HDFS上某个文件的内容统计目录下各文件的大小（单位：字节B）删除HDFS上某个文件或者文件夹使用help命令寻求帮助。 HDFS的基本命令格式:hdfs dfs -cmd <args> 注意：需要事先将HADOOP_HOME/bin目录配置进入环境变量。 一、Hadoop配置环境变量 进入实验二创建的master容器 su
实验三：HDFS实验&读写HDFS文件&学习使用Java读写HDFS文件
WistWill的博客
03-11 6782
一、实验指导 3.1 实验目的 1． 会在Linux环境下编写读写HDFS文件的代码； 2． 会使用jar命令打包代码； 3． 会在master服务器上运行HDFS读写程序； 4． 会在Windows上安装Eclipse Hadoop插件； 5． 会在Eclipse环境编写读写HDFS文件的代码； 6． 会使用Eclipse打包代码； 7． 会使用Xftp工具将实验电脑上的文件上传...
Hadoop安装实验及MapReduce编程实验指导
zhamors
06-18 1575
实验环境：Red Hat 6.5、Hadoop-2.6.5 JDK1.7.0版本 具体参考实验指导书，本文档做辅助工作，详细命令请看教学实验指导书。 1.Hadoop安装实验 准备工作 配置主机名 更改主机名方法： 查看自己虚拟机的IP地址 修改每台服务器上的/etc/hosts文件，添加主机名配置。 安装配置JDK Red ...
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例
Sunny不要停的博客
10-23 3463
云计算实验一
Hadoop入门系列(四) HDFS的使用与编程
Weary_PJ的博客
07-29 753
Hadoop入门系列(三) HDFS的使用与编程 内容 使用Hadoop Shell命令操作hdfs文件系统，熟悉分布式文件系统及操作命令。 配置Maven及使用Maven构建的Hadoop工程项目。 使用Hadoop的JAVA api操作hdfs文件系统。 ...
hadoop inputformat
weixin_41948645的博客
09-22 486
MapReduce过程Mapper的输出参数和Reducer的输入参数是一样的，都是中间需要处理的结果，而Reducer的输出结果便是我们想要的输出结果。所以根据需要对InputFormat进行较合理的设置，Job才能正常运行。Job过程中间的Key和Value的对应关系可以简单阐述如下： map: <k1,v1> -> list(k2,v2) combile: <k2,list(v2)> ->
Hadoop实践：HDFS编程指南
“大数据实践-HDFS编程.doc”是一个关于HDFS（Hadoop Distributed File System）编程的实践报告，旨在帮助读者理解和掌握HDFS在Hadoop体系结构中的作用以及基本操作，如删除文件和显示文件内容。 在Hadoop生态系统...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

种豆得瓜er

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值