文件上传status 400_Spring Boot与Hadoop HDFS分布式文件系统

最新推荐文章于 2024-03-22 15:49:23 发布
最新推荐文章于 2024-03-22 15:49:23 发布
阅读量220 收藏
点赞数
文章标签： 文件上传status 400

Spring Boot与Hadoop HDFS分布式文件系统

一、HDFS概念

HDFS属于Hadoop大数据生态圈，最早是由谷歌GFS论文中引申出来的概念，全名叫做Hadoop Distributed File System。也就是分布式文件系统，按区域进行存储数据。

2f323630c3756e0340719df315c28e96.png

1.1HDFS适用场景

主要特点是高容错性、大文件存储、高吞吐量。

330abc44bc8d3b5e6d43df37fbfad026.png

1.2HDFS缺点

由于HDFS是由高数据吞吐量优化的，会造成低时间数据访问延迟；

会造成用户量多任意修改文件；

会造成非常多的小文件，磁盘空间任意消耗。

204b8bfae6c54930ed1194778699e8ad.png

1.3HDFS组成部分

NameNode：是一个元数据，支持存储、生成文件系统；

Client：支持客户端得到数据回传给业务；

DataNode：是HDFS中用于存储实际数据的部分，上报数据给NameNode，支持多个实例。

1d4dcb4c8521a12d6d91a6d3d63521bd.png

1.4HDFS支持的数据访问格式

可支持WebHDFS和HTTPFS，本文将以Spring Boot操作HTTPFS来说明Spring Boot操作HDFS形式。

8dbe817c2d4ce947fee7e67f188dcce2.png

二、HDFS 支持Java API主要工具类

[A]用于获取服务器和客户端配置信息的Configuration;

[B]用于生成获取文件系统的FileSystem；

[C]HDFS中的数据输入流，用于FileSystem的open方法的FSDataInputStream；

[D]HDFS的数据输出流，由FileSystem Create方法生成的FSDataOutputStream。

d0c5e2fa0f00f5c05b35f700bfcffa86.png

三、开启Spring Boot项目支持HDFS

首先引入Spring Boot工程的父模块依赖，组成Spring Boot工程:

org.springframework.boot

spring-boot-starter-parent

2.1.6.RELEASE

引入Spring Boot组件:

org.springframework.boot

spring-boot-starter

org.springframework.boot

spring-boot-starter-web

引入Hadoop工具包:

org.apache.hadoop

hadoop-common

3.1.1

引入Hadoop HDFS支撑组件:

org.apache.hadoop

hadoop-hdfs

3.1.1

引入Hadoop客户端工具:

org.apache.hadoop

hadoop-client

3.1.1

引入MR支持组件:

org.apache.hadoop

hadoop-mapreduce-client-core

3.1.1

构建Maven工程:

org.springframework.boot

spring-boot-maven-plugin

org.apache.maven.plugins

maven-compiler-plugin

1.8

1.8

主要启动文件bootstrap.yml配置:

hadoop.name-node: hdfs://192.168.1.82:9000

hadoop.namespace: /myora

# hadoop:

# fs-uri: hdfs://192.168.1.82:9000

e2959bb10aa96268432ba473bb49e3cb.png

3.1编写HDFS工具类

3.1.1获取文件系统

public class HdfsHutools {

/**

* 获取文件系统

* @return

*/

public static FileSystem getFileSystem(String hdfsClientUri) {

//读取配置文件

Configuration conf = new Configuration();

// 文件系统

FileSystem fs = null;

if(StringUtils.isBlank(hdfsClientUri)){

// 返回默认文件系统 如果在 Hadoop集群下运行，使用此种方法可直接获取默认文件系统

try {

fs = FileSystem.get(conf);

} catch (Exception e) {

System.out.print("异常"+ e.toString());

}

}else{

// 返回指定的文件系统,如果在本地测试，需要使用此种方法获取文件系统

try {

URI uri = new URI(hdfsClientUri.trim());

fs = FileSystem.get(uri,conf);

} catch (Exception e) {

System.out.print("异常"+ e.toString());

}

}

return fs;

}

fdddcd1f84b251818c802cfa677e4101.png

3.1.2创建HDFS文件目录

public static void mkdir(String hdfsCreateUri, String path) {

try {

// 获取HDFS文件系统

FileSystem fs = getFileSystem(hdfsCreateUri);

if(StringUtils.isNotBlank(hdfsCreateUri)){

path = hdfsCreateUri+ path;

}

// 创建目录

fs.mkdirs(new Path(path));

//释放资源

fs.close();

} catch (Exception e) {

System.out.print("异常"+ e.toString());

}

}

f8757600b04fa3cc1e9f6ff63cee3693.png

3.1.3删除HDFS文件目录

public static void rmdir(String hdfsCreateUri,String path) {

try {

// 返回FileSystem对象

FileSystem fs = getFileSystem(hdfsCreateUri);

if(StringUtils.isNotBlank(hdfsCreateUri)){

path = hdfsCreateUri+ path;

}

// 删除文件或者文件目录 delete(Path f) 此方法已经弃用

fs.delete(new Path(path),true);

// 释放资源

fs.close();

} catch (Exception e) {

System.out.print("异常"+ e.toString());

}

}

9c87a11bc0551de5463f1cd7b505538c.png

3.1.4过滤掉HDFS目录下的文件

public static String[] listFile(String hdfsCreateUri, String path,PathFilter pathFilter) {

String[] files = new String[0];

try {

// 返回FileSystem对象

FileSystem fs = getFileSystem(hdfsCreateUri);

if(StringUtils.isNotBlank(hdfsCreateUri)){

path = hdfsCreateUri+ path;

}

FileStatus[] status;

if(pathFilter != null){

// 根据filter列出目录内容

status = fs.listStatus(new Path(path),pathFilter);

}else{

// 列出目录内容

status = fs.listStatus(new Path(path));

}

// 获取目录下的所有文件路径

Path[] listedPaths = FileUtil.stat2Paths(status);

// 转换String[]

if (listedPaths != null && listedPaths.length > 0){

files = new String[listedPaths.length];

for (int i = 0; i < files.length; i++){

files[i] = listedPaths[i].toString();

}

}

// 释放资源

fs.close();

} catch (Exception e) {

System.out.print("异常"+ e.toString());

}

return files;

}

cab831239ad90bd683b198a1380518a6.png

3.1.5上传文件至HDFS

public static void copyFileToHDFS(String hdfsCreateUri,boolean delSrc, boolean overwrite,String srcFile,String destPath) {

Path srcPath = new Path(srcFile);

// 目的路径

if(StringUtils.isNotBlank(hdfsCreateUri)){

destPath = hdfsCreateUri+ destPath;

}

Path dstPath = new Path(destPath);

// 实现文件上传

try {

// 获取FileSystem对象

FileSystem fs = getFileSystem(hdfsCreateUri);

fs.copyFromLocalFile(srcPath, dstPath);

fs.copyFromLocalFile(delSrc,overwrite,srcPath, dstPath);

//释放资源

fs.close();

} catch (Exception e) {

System.out.print("异常"+ e.toString());

}

}

f7bc31940c89493ecf3289694c260b61.png

3.1.6从HDFS下载文件

public static void getFile(String hdfsCreateUri, String srcFile,String destPath) {

// 源文件路径

if(StringUtils.isNotBlank(hdfsCreateUri)){

srcFile = hdfsCreateUri+ srcFile;

}

Path srcPath = new Path(srcFile);

Path dstPath = new Path(destPath);

try {

// 获取FileSystem对象

FileSystem fs = getFileSystem(hdfsCreateUri);

// 下载hdfs上的文件

fs.copyToLocalFile(srcPath, dstPath);

// 释放资源

fs.close();

} catch (Exception e) {

System.out.print("异常"+ e.toString());

}

}

5a5183a36508db7c331ade0ca5447c7f.png

3.1.7获取HDFS集群节点信息

public static DatanodeInfo[] getHDFSNodes(String hdfsCreateUri) {

// 获取所有节点

DatanodeInfo[] dataNodeStats = new DatanodeInfo[0];

try {

// 返回FileSystem对象

FileSystem fs = getFileSystem(hdfsCreateUri);

// 获取分布式文件系统

DistributedFileSystem hdfs = (DistributedFileSystem)fs;

dataNodeStats = hdfs.getDataNodeStats();

} catch (Exception e) {

System.out.print("异常"+ e.toString());

}

return dataNodeStats;

}

e7695630ce3d3bee133fb9bb37cd4425.png

3.1.8获取文件位置

public static BlockLocation[] getFileBlockLocations(String hdfsCreateUri, String filePath) {

// 文件路径

if(StringUtils.isNotBlank(hdfsCreateUri)){

filePath = hdfsCreateUri+ filePath;

}

Path path = new Path(filePath);

// 文件块位置列表

BlockLocation[] blkLocations = new BlockLocation[0];

try {

// 返回FileSystem对象

FileSystem fs = getFileSystem(hdfsCreateUri);

// 获取文件目录

FileStatus filestatus = fs.getFileStatus(path);

//获取文件块位置列表

blkLocations = fs.getFileBlockLocations(filestatus, 0, filestatus.getLen());

} catch (Exception e) {

System.out.print("异常"+ e.toString());

}

return blkLocations;

}

80a3cd9c6bfb23fdd36334bf6fc466ec.png

3.1.9判断HDFS目录是否存在

public boolean existDir(String hdfsCreateUri,String filePath, boolean create){

boolean flag = false;

if (StringUtils.isEmpty(filePath)){

return flag;

}

try{

Path path = new Path(filePath);

// FileSystem对象

FileSystem fs = getFileSystem(hdfsCreateUri);

if (create){

if (!fs.exists(path)){

fs.mkdirs(path);

}

}

if (fs.isDirectory(path)){

flag = true;

}

}catch (Exception e){

System.out.print("异常"+ e.toString());

}

return flag;

}

}

61e1bf83aaac16d52c1b0799e6ced2e1.png

3.2HDFS的Spring Boot配置

@Configuration

@ConditionalOnProperty(name="hadoop.name-node")

@Slf4j

public class HDFSClientConfig {

@Value("${hadoop.name-node}")

private String nameNode;

@Bean("fileSystem")

public FileSystem createHDFSFile() {

//读取HDFS Config

Configuration conf = new Configuration();

conf.set("fs.defalutFS", nameNode);

conf.set("dfs.replication", "1");

FileSystem fs = null;

//conf.set("fs.defaultFS","hdfs://ns1");

//指定访问HDFS的client信息

//fs = FileSystem.get(new URI(nameNode), conf, "root");

// 文件HDFS系统

try {

URI uri = new URI(nameNode.trim());

fs = FileSystem.get(uri,conf,"root");

} catch (Exception e) {

System.out.println(e.toString());

}

System.out.println("fs.defaultFS: "+conf.get("fs.defaultFS"));

return fs;

}

30d16a0be32ce9181f367fe9235f5894.png

3.3Restful格式Controller代码示例

删除HDFS文件:

@GetMapping("/delete")

public String delete(@RequestParam String fileName){

hadoopUtil.rmdir(fileName,"");

return "delete";

}

下载HDFS文件:

@GetMapping("/downloadToDest")

public String downloadToDest(@RequestParam String fileName,@RequestParam String savePath){

hadoopUtil.getFile(fileName,"",savePath);

return "downloadToDest";

}

ae03d3b16ccdef5bc9fe65fcfe1919b0.png

四、Spring Boot后续

Spring Boot本人水平也有限，如有不对，还望指正。

weixin_39804059
关注
云计算平台: Hadoop、Spark、Storm等开源框架与容器化技术的结合优化
AI天才研究院
08-11 194
随着大数据、机器学习、IoT、云计算等新兴技术的蓬勃发展，如何有效地进行海量数据的处理、分析和挖掘已成为越来越多企业所面临的问题。传统的数据处理方式依赖于离线批量处理，这种方式虽然效率高，但是却对实时性要求较高，无法满足实时计算需求。云计算则可以解决这个问题，通过云端存储大规模数据并利用集群计算资源实现分布式处理。基于云计算技术构建的数据处理平台主要由以下几个组成部分构成：数据源收集：采集原始数据，包括日志、监控指标、业务数据等，主要用于实时数据源的收集。
springmvc+hadoop+maven实现文件上传至hdfs
09-03
本实例依托于springmvc框架，采用maven作为jar包管理仓库，通过引用hadoop相关jar包，编写了hdfs操作工具类，能够在web端实现文件远程上传至hdfs。
Spring 文件上传出现400
走过程序员的路
09-21 6680
public String config(@RequestParam(value = "coverFile", required = false) MultipartFile multipartFile, Apply apply , ApplyExt applyExt , ApplySaveVo applySaveVo) { String applyCoverUrlTmp = null
有关springmvc文件上传，出现400 的错误问题
我是疯子中的扛把子的博客
05-04 1082
不同项目不同对待：问题描述：       通过前台页面做文件上传，点击按钮上传时出现服务器直接拦截并报不支持（bad request），后台没有报错，坚信（js）代码不存在问题的情况下，寻找答案：在启动项目中main类中@springBootApplicatio下加上@EnableAutoConfigurationo（exclude={MultiparAutoConfiguration.class...
Spring Boot实现文件上传功能
梦想也许遥不可及，但重要的是追梦的过程，用博客记录自己的成长，记录自己一步一步向上攀登的印记
08-11 2928
addResourceHandler(“xxx”) 用于指定对外暴露的访问路径，addResourceLocations(“xxx”) 用于指定文件放置路径。不过，我们可以发现，当我们点击提交的时候，图片还是无法显示。创建一个数据库用来保存登录的用户名，密码，文件名。编写Controller。我们可以写一个工具类。Service实现类。...
Spring Boot上传文件异常：400 Required MultipartFile parameter ‘files‘ is not present
浊酒入清梦的博客
12-25 2037
解决方法 确认maven pom.xml中是否已添加以下spring-boot-starter-web依赖： <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency>
Springcloud集成hadoop HDFS，使用Feign-form实现文件上传、下载
qq_41780231的博客
09-26 2855
构建基于SpringCloud分布式，使用hadoop HDFS实现文件的上传下载功能 最近做springcloud项目开发，需要使用文件服务器HDFS进行文件的上传下载，所以将实现的方法步骤做个记录，分享出来，如有疑问，欢迎随时交流： 项目结构如下 项目使用到Eureka作为注册中心，通过Feign客户端进行服务调用，废话少说，直接上代码 代码片. 实现层（file_service_impl）...
基于springboot,hdfs的网盘系统(查看，上传，下载，删除，新建文件)
m0_45311187的博客
03-15 4686
基于springboot,hdfs的网盘系统（云服务器搭建的分布式架构上的hdfs，windows编译器IDEA，包含全开发流程,springboot部署在linux上，可公网访问） 基于maven的springboot项目。
FastDFS(分布式文件系统)图片上传
m0_71560190的博客
08-24 2119
FastDFS图片服务器的安装与使用
如何使用IDEA基于伪分布式（或则完全分布式）集群的HDFS客户端创建，利用客户端对象完成创建学号命名文件夹，上传本地文件到该文件夹，通过开发工具配置文件完成存储数据副本数为2，并再次上传文件测试，HDFS文件目录详情查看，查根目录
最新发布
10-22
在IntelliJ IDEA中，使用Maven或Gradle集成Spring Boot项目并配置Hadoop的伪分布式或全分布式模式，以下是步骤： 1. **设置环境**: - 下载Hadoop，配置环境变量，如`HADOOP_HOME`指向安装目录。 - 在项目pom.xml...
Springboot上传文件
qq_39015168的博客
11-18 357
Controler层里面代码内容 @RequestMapping(value="/uploadImg", method=RequestMethod.POST) @ResponseBody public String uploadImgController(@RequestParam(value="img")MultipartFile img){ File f = new File("/im...
springBoot上传文件
前方的路在刚开始
02-04 150
1.创建springBoot项目 2.导入pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apac
springboot上传文件
冲冲冲的博客
12-07 197
springboot上传文件前端准备控制类 UploadController.javaapplication.properties测试 前端准备 <!--uploadPage.html--> <!--表单部分代码--> <form action="upload" method="post" enctype="multipart/form-data"> 选择图片:<input type="file" name="file" accept="image/*" /&g
springboot 上传文件
Ark方舟
02-05 299
1、html代码： <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <form action="/upload" method=...
有关springmvc3.1.3文件上传，出现400 的错误问题
weixin_30819085的博客
01-22 513
使用SptingMVC3.1.3 对于文件上传提交的表单我们都会设置：enctype="multipart/form-data" 的一个设置， 那么值得注意的问题出现了， 对于表单post提交的数据无法绑定到后台的参数中， 紧接着服务器会向浏览器客户端抛HTTP STATUS 400 的错误， 或者出现 类型转换的的异常， 这个问题从开始一直困扰着我好些天，一直都不能解决这个问题，这个问题一直困扰...
springboot实现文件上传
m0_55045698的博客
03-22 3772
我本地运行出来确实是我项目的根目录，但是上到服务器，打出来的就是/，也就是linux的根目录，因此我决定以"/home/ec2-user/www/wwwroot/online_exam" 这种定值的方式取代System.getProperty("user.dir")，否则我的fileStorage目录就会建立在/这个目录下面，然后根据url访问就失效了。第三点是我添加了一个附件表，防止重复照片的存入消耗内存，毕竟不是存在三方文件系统上，自己买的系统还是省着点，而且还可以提升一丢丢的效率。
springboot、网关接受请求直接报400
方方土的博客
12-22 2818
springboot、网关转发请求直接报400
springmvc上传文件出现400错误
shan165310175的专栏
10-16 1357
1.代码如下：在上传的时候出现400错误。 public AjaxJson saveSchoolProfile( SchoolProfileBean schoolProfileBean, @RequestParam(required = false) MultipartFile logo, @RequestParam(required = false, value = "mpQrCode") ...
spring的上传文件【400,405,409等异常解决细节】
qq_45421186的博客
03-26 426
Hadoop HDFS分布式文件系统操作工具特性与使用
资源摘要信息:"基于Hadoop HDFS的分布式文件系统操作工具.zip" 本项目涉及的核心技术是Hadoop HDFS，Hadoop是一个由Apache软件基金会开发的开源框架，它实现了分布式存储和分布式处理。HDFS作为Hadoop项目的核心...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值