大数据平台架构第二次实验

最新推荐文章于 2023-01-06 10:46:58 发布
最新推荐文章于 2023-01-06 10:46:58 发布
阅读量1k 收藏 8
点赞数 1
分类专栏： 大数据平台架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43588190/article/details/105721454
版权

一、实验概述：
【实验目的】

  1. 掌握HDFS分布式文件系统SHELL终端的数据载入或上传方法；
  2. 掌握HDFS分布式文件系统SHELL终端的数据查看方法；
  3. 掌握HDFS分布式文件系统的JAVA数据访问方法。

【实验要求】

  1. 保存程序，并自行存档；
  2. 最终的程序都必须经过测试，验证是正确的；
  3. 认真记录实验过程及结果，回答实验报告中的问题。

【实施环境】
（使用的材料、设备、软件） Linux操作系统环境，VirtualBox虚拟机，Hadoop等程序。

二、实验内容
第1题 HDFS文件目录创建实验

【实验内容】
(1) 使用Shell终端命令，完成HDFS文件系统的格式化；
(2) 使用Shell终端命令，在HDFS中创建/user/“用户名”/input和/user/“用户名”/output的文件目录。

【实验结果】（步骤、记录、数据、程序等）
请结合课程讲授内容，完成实验内容(1)(2)，并在下方描述和记录实验过程，提供相应的界面截图证明。
1.创建HDFS的文件目录（虚拟），使用命令查看HDFS下的文件目录在这里插入图片描述
在这里插入图片描述
第2题 HDFS文件数据上传实验

【实验内容】
(1) 使用Shell终端命令，将桌面以自己学号命名的文本文件上传至/user/“用户名”/input目录；
(2) 使用Shell终端命令，读取上传文件，并显示该文本文件中的内容。

【实验结果】（步骤、记录、数据、程序等）
请结合课程讲授内容，完成实验内容(1)(2)，并在下方描述和记录实验过程，提供相应的界面截图证明。

1.在桌面创建测试文件，使用HDFS的PUT命令将本地文件拷贝到HDFS的input目录下，可再次使用ls查看input目录下拷贝结果
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2.使用-cat命令查看input目录下文件内容
在这里插入图片描述
在这里插入图片描述
3.使用-get命令将input目录下某一文件拷贝到本地磁盘中
在这里插入图片描述
在这里插入图片描述
4.使用-rm命令将input目录下某一文件删除
在这里插入图片描述

第3题 HDFS分布式文件系统的JAVA程序设计

【实验内容】
在上述2题的基础上，结合课程PPT和实验教材中讲授的相关内容，完成以下任务：
（1）使用JAVA语言，判断第2题上传文件在HDFS目录中是否存在；
（2）使用JAVA语言，读取第2题上传文件内容；
（3）使用JAVA语言，读取第2题上传文件对应的BLOCK信息；
（4）使用JAVA语言，将第2题上传文件删除。

【实验结果】（步骤、记录、数据、程序等）
请结合课程讲授内容，完成实验内容(1)(2)(3)(4)，并在下方描述和记录实验过程，提供相应的代码界面截图证明。
1.在Ubuntu中安装eclipse
在这里插入图片描述
在这里插入图片描述
2.新建java工程，右键打开工程属性，在Libraries栏目下设置JAR，添加如下的JAR包。保存并关闭
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3.从本地拷贝文件到HDFS的JAVA编程实现方式
1）在src中创建包，再创建class
在这里插入图片描述
2）配置log4j，完成日志文件的构建

配置HADOOP环境变量
export DISPLAY=:0
打开/etc/profile文件，添加如图语句

在这里插入图片描述
在这里插入图片描述

source etc/profile，使文件生效
echo $PATH，查看变量是否添加成功

在这里插入图片描述
4）拷贝成功
在这里插入图片描述
在这里插入图片描述
4.判断HDFS目录中对应文件是否存在

package experiment_2;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.fs.Path;

public class existence {
public static void main(String[] args) {
	try {
		String fileName = "hdfs://localhost:9000/user/charon/input/123.txt";
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://localhost:9000");
		conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
		FileSystem fs = FileSystem.get(conf);
		if(fs.exists(new Path(fileName))) {
			System.out.println("exists!");
		}
		else
			System.out.println("not exist!");
	}
	catch(Exception e) {
		e.printStackTrace();
	}
}
}

判断成功
在这里插入图片描述
5.列出HDFS目录中相应文件信息

package experiment_2;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.fs.Path;

public class info {
	public static void main(String[] args) {
		String uri = "hdfs://localhost:9000/user/charon/input";
		Configuration conf = new Configuration();
		try {
			FileSystem fs = FileSystem.get(new URI(uri),conf);
			Path path = new Path(uri);
			FileStatus status[] = fs.listStatus(path);
			for(int i=0;i<status.length;i++) {
				System.out.println(status[i].getPath().toString());
			}
		}
		catch(Exception e) {
			e.printStackTrace();
		}
	}
}

查询成功
在这里插入图片描述
6.删除HDFS目录中相应文件

package experiment_2;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.fs.Path;
public class dele {
public static void main(String[] args) {
	Configuration conf = new Configuration();
	conf.set("fs.defaultFS", "hdfs://localhost:9000");
	try {
		FileSystem fs = FileSystem.get(conf);
		boolean deleteOnExit = fs.deleteOnExit(new Path("/user/charon/input/testInputFile2.txt"));
		System.out.println(deleteOnExit);
	}
	catch(Exception e) {
		e.printStackTrace();
	}
}
}

删除成功
在这里插入图片描述

7.读取HDFS相应文件的BLOCK信息

package experiment_2;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.fs.Path;

public class read {
public static void main(String[] args) {
	String uri = "hdfs://localhost:9000/user/charon/input/testInputFile2.txt";
	Configuration conf = new Configuration();
	try {
		FileSystem fs = FileSystem.get(new URI(uri),conf);
		Path path = new Path(uri);
		FileStatus fileStatus = fs.getFileLinkStatus(path);
		BlockLocation blkLocation[] = fs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
		for(int i=0;i<blkLocation.length;i++) {
			String[] hosts = blkLocation[i].getHosts();
			System.out.println("block "+i+" location:"+hosts[0]);
		}
	}
	catch(Exception e) {
		e.printStackTrace();
	}
}
}

访问成功
在这里插入图片描述

package experiment_2;
import java.io.*;
import java.net.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;

public class showInfo{
	public static void main(String[] args) {
		Configuration conf = new Configuration();
		conf.set("fs.defaultFs","hdfs://localhost:9000");
		conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
		try {
			URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
			InputStream in = new URL("hdfs://localhost:9000/user/charon/input/631807060531+张超.txt").openStream();
			IOUtils.copyBytes(in,System.out,4096,true);
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
}

内容查看成功
在这里插入图片描述

chaRon522
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据Spark二次开发.pdf
10-14
大数据Spark二次开发.pdf
2021-05-08 大数据第二次实验
MengMengBoss的博客
05-08 257
实验二： HADOOP的伪分布式安装 实验时间： 2021年3月15日 实验地点： 计算机专业实训室 实验目的：下载Hadoop安装文件，在Linux虚拟机环境下完成Hadoop伪分布式环境的搭建，并运行Hadoop自带的WordCount实例检测是否运行正常 实验环境：win10专业版 实验过程与完成情况：（文字与相关截图） 1.修改配置文件core-site.xml ...
合肥工业大学2022大数据技术实验二
qq_52791068的博客
08-14 1709
二在Hadoop平台上部署WordCount程序实验时间∶2022年5月14日在Hadoop平台上部署WordCount程序。该项任务请同学作为作业自行完成，并提交实验报告。
常用的Hadoop操作
m0_47169157的博客
09-18 9804
常用的Hadoop操作常用的Hadoop操作 常用的Hadoop操作 启动hadoop，在HDFS中创建用户目录“/user/hadoop”（现在已经在hadoop目录/usr/local/hadoop）； 方法：cd /usr/local/hadoop ./sbin/start-dfs.sh(启动Hadoop) ./bin/hdfs dfs -mkdir -p /user/hadoop(创建目录) 效果如下图： 在此用户目录下创建text文件夹，并查看文件列表； 方法：./bin/hdfs dfs
大数据平台架构第三次实验
charon的博客
05-11 596
一、实验概述： 【实验目的】 掌握HBase数据库的安装部署方法； 掌握HBase操作常用Shell命令； 掌握HBase数据表的创建、添加数据、查看数据、删除数据、删除表、查询历史数据等操作。 【实验要求】 保存程序，并自行存档； 最终的程序都必须经过测试，验证是正确的； 认真记录实验过程及结果，回答实验报告中的问题。 【实施环境】（使用的材料、设备、软件） Linux操作系统环境，...
大数据平台架构.pdf
10-02
大数据平台架构 大数据平台架构是指利用大数据技术构建的一种平台架构，旨在帮助企业和组织更好地管理和分析大量数据，提高业务能力和决策效率。该平台架构通常包括数据源层、数据接口层、平台架构层、分析工具层和...
网易大数据平台架构实践分享！
02-25
随着网易云音乐、新闻、考拉、严选等互联网业务的快速发展，网易开始加速大数据平台建设，以提高数据获取速度，提升数据分析效率，更快发挥数据价值。本次演讲主要分享网易如何围绕和改造开源技术，以产品化思维打造...
大数据平台架构设计方案.docx
08-21
大数据平台架构设计方案是现代企业信息化建设的关键组成部分，旨在处理、分析并利用海量数据，为企业决策提供有力支持。本文将深入探讨大数据采集平台、大数据清洗平台、大数据挖掘与分析平台以及大数据治理平台的...
大数据平台架构与原型实现 数据中台建设实战.pptx
最新发布
10-05
"大数据平台架构与原型实现 数据中台建设实战" 大数据平台架构是企业大数据战略的基础，它决定了如何组织和处理大数据，以及如何从大数据中提取有价值的信息。大数据平台架构包括数据采集、数据存储、数据处理、...
企业级大数据平台架构及业务方案.pptx
09-26
二、大数据平台架构设计原则 大数据平台架构设计需要遵循一定的原则，如scalability、flexibility、availability、security等。同时，需要考虑到数据的采集、存储、处理和分析等环节的需求。 三、大数据平台架构...
大数据实验报告.zip
07-04
中南大学的大数据实验报告，很有参考价值，列举了很多环境系统的装配方法，以及数据的采集方法，还有数据爬虫等等
shell学习教程(超详细完整)
热门推荐
路人甲的博客
09-23 11万+
为了方便以后工作和复习，记录一下学习shell脚本的笔记，看这篇文章需要对linux系统熟悉 文章目录一、什么是shell？为什么要学习和使用shell？二、shell的分类shell脚本的执行三、shell变量1.变量的命名规则：2.变量的分类：2.1用户自定义变量：2.1.1变量定义2.1.2变量调用2.1.3变量查看2.1.4变量删除2.2环境变量：1)环境变量设置2)环境变量查询和删除3)系统默认环境变量2.3位置参数变量：2.4预定义变量：3.只读变量：4.接受键盘输入：四、shell 运算符1.
Hadoop教程(三)HDFS文件系统Shell命令
yuan_xw的专栏
12-07 1万+
HDFS是存取数据的分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作，如ls、mkdir、rm等。 调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，sch
熟悉常用的 HDFS 操作
拉格朗日的迷妹
04-14 1万+
1）向 HDFS 中上传任意文本文件，如果指定的文件在 HDFS 中已经存在，则由用户来指定是  追加到原有文件末尾还是覆盖原有的文件；  （覆盖）（追加）2）从 HDFS 中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；  （-test用于判断 ）3）将 HDFS 中指定文件的内容输出到终端中； 4）显示 HDFS 中指定的文件的读写权限、大小、创建时间、路径等信息...
大数据专业python实验报告_大数据导论实验报告
weixin_39942037的博客
12-18 2982
实验名称Python的安装与应用专 业软件工程姓 名学 号班 级实验目的：了解Python的主要组成部分。学会安装Python SDK，学会在Eclipse平台中安装并使用Python的开发插件二、实验内容：安装Python sdk，了解IDLE的使用方法。利用实验室已有的Eclipse，在上述平台上安装Python开发插件Pydev并完成配置。在IDLE和Pydev中分别编写“hel...
《大数据系统与编程》MapReduce程序实现词频统计实验报告
qq_55795222的博客
01-06 2045
《大数据系统》的课程实验，包括实验目的、实验要求与实验过程记录（有截图），仅供学生初级参考，引用图片请标明出处。
大数据学习_Hadoop_调优及二次开发示例
qq_41612830的博客
02-01 790
目录1 Job执行三原则1.1 原则一 充分利用集群资源1.2 原则二 ReduceTask并发调整1.3 原则三 Task执行时间要合理2 Shuffle调优2.1 Map阶段2.2 Copy阶段2.3 Reduce阶段3 Job调优 1 Job执行三原则 充分利用集群资源 reduce阶段尽量放在一轮 每个task的执行时间要合理 1.1 原则一 充分利用集群资源 Job运行时，尽量让所有的节点都有任务处理，这样能尽量保证集群资源被充分利用，任务的并发度达到最大。可以通过调整处理的数据量大小，以
大数据平台搭建详解
dingyanming的博客
05-12 3万+
大数据平台搭建(实验室版)1大数据介绍：1.1背景进入21世纪随着计算机科学的迅速发展，人民生活水平的提高，各种交易产生的数据也飞速增长，2016天猫双11谢幕，根据阿里公布的实时数据，截至11日24:00:00，2016天猫双11全球狂欢节总交易额超1207亿，无线交易额占比81.87%，覆盖235个国家和地区，当然还包括京东618等，产生的数据都是相当可观的，如此大的数据计算，统计，分析，使用...
大数据基础编程+实验
#宵夜#
04-06 2729
本文仅用于分析和记录在校期间学习大数据分析课程的一点心得体会。 1、Ubuntu系统的安装和使用 本文采用Ubuntu16.04系统，安装系统省略，选择镜像后一直点击下一步 1.1 进入系统后，调整输入法，将输入法切换至中英文切换 1.2为了便于接下来的操作，需创建一个名为hadoop的普通用户 为hadoop用户设置密码为hadoop，并且增加管理员权限，之后的过程均采用hadoop用户登录系统 2、Hadoop的安装和使用 包含创建hadoop用户、更新APT、安装ssh和安装java环境等 2.
大数据平台架构：企业增值与实践案例
接着，文章介绍了酷狗、美团、Airbnb等公司的大数据平台实践案例，以及携程、IFTTT、卷皮等公司如何将业务与大数据平台相结合，展示了不同企业如何根据自身特点构建和优化大数据架构。这些案例提供了实用的参考，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值