科学技术学院
SCIENCE & TECHNOLOGY COLLEGE OF
NANCHANG UNIVERSITY
《工 程 训 练》报 告
REPORT ON ENGINEERING TRAINING
题 目 大数据hadoop开发工程实训
学科部、系: 信息学科部计算机系
专业班级: 计算机172
学 号: 7020817074
学生姓名: 温鑫
指导教师: 邓伦丹 熊婷 刘伟华
起讫日期: 2019年12月16日——20日
大数据hadoop开发工程实训报告
实验名称:
大数据hadoop开发工程实训
实验目的:
本次工程训练通过Linux、HDFS环境配置的学习,掌握Java程序控制HDFS增删改查的基本设计方法;综合应用Linux命令行、hadoop开源软件、JAVA应用程序的开发训练。
实验需要的设备、工作环境:
一台目前实验室使用的计算机,要安装以下软件:
(1) 中文版Windows XP或以上系统;
(2) JDK 1.6 或以上版本;
(3) 任一Java编程工具,如Eclipse idea等;
(4) 虚拟机VMware Workstation 9以上,配置有系统CentOS。
实验内容:
- 使用Linux命令行实现对CentOS的操作。
- 实现 HDFS 客户端的操作。
实验步骤和操作(源程序):
(1)初始化连接代码:
/*
* 初始化 hadoop hdfs 配置信息
* */
@Before
public void init() {
try {
URI uri = new URI("hdfs:192.168.75.129:9000");
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.75.129:9000");
conf.set("dfs.replication", "1");
fs = FileSystem.get(uri, conf, "root");
} catch (Exception e) {
e.printStackTrace();
}
}
(2)在HDFS分布式集群创建目录的代码:
/* * 创建一个文件夹到 hdfs:192.168.75.129:9000 * */ @Test public void mkdir() { try { Path path = new Path("/IDEAtest/"); fs.mkdirs(path); System.out.println("创建成功"); } catch (Exception e) { e.printStackTrace(); System.out.println("创建失败"); } }
(3)本地上传文件到HDFS目录的代码:
/* *上传文件到 hdfs:192.168.75.129:9000 */ @Test public void upload() { </