南大科院大数据Hadoop工程实训

 

科学技术学院

SCIENCE & TECHNOLOGY COLLEGE OF

NANCHANG UNIVERSITY

 《工 程 训 练》报 告

   REPORT ON ENGINEERING TRAINING

 

 

 

题   目       大数据hadoop开发工程实训      

 

学科部、系：   信息学科部计算机系 

专业班级：      计算机172     

学   号：      7020817074      

学生姓名：        温鑫         

指导教师：  邓伦丹  熊婷 刘伟华     

起讫日期：   2019年12月16日——20日   

 

大数据hadoop开发工程实训报告

实验名称：

大数据hadoop开发工程实训

 

实验目的：

本次工程训练通过Linux、HDFS环境配置的学习，掌握Java程序控制HDFS增删改查的基本设计方法；综合应用Linux命令行、hadoop开源软件、JAVA应用程序的开发训练。

实验需要的设备、工作环境：

一台目前实验室使用的计算机，要安装以下软件：

(1) 中文版Windows XP或以上系统；

(2) JDK 1.6 或以上版本；

(3) 任一Java编程工具，如Eclipse  idea等；

(4) 虚拟机VMware Workstation 9以上，配置有系统CentOS。

实验内容：

1. 使用Linux命令行实现对CentOS的操作。
2. 实现 HDFS 客户端的操作。

实验步骤和操作（源程序）：    

（1）初始化连接代码：

/*
 * 初始化 hadoop hdfs 配置信息
 * */
@Before
public void init() {
    try {
        URI uri = new URI("hdfs:192.168.75.129:9000");
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.75.129:9000");
        conf.set("dfs.replication", "1");
        fs = FileSystem.get(uri, conf, "root");
    } catch (Exception e) {
        e.printStackTrace();
    }
}

 

（2）在HDFS分布式集群创建目录的代码：

/*

 * 创建一个文件夹到 hdfs:192.168.75.129:9000

 * */

@Test

public void mkdir() {

    try {

        Path path = new Path("/IDEAtest/");

        fs.mkdirs(path);

        System.out.println("创建成功");

    } catch (Exception e) {

        e.printStackTrace();

        System.out.println("创建失败");

    }

}

 

（3）本地上传文件到HDFS目录的代码：

/*

 *上传文件到 hdfs:192.168.75.129:9000

 */

@Test

public void upload() {

    </