springboot 整合Hadoop

xiaobaihaob

已于 2022-11-28 17:26:19 修改

阅读量1.2k

点赞数

文章标签： hadoop spring boot java

于 2022-11-28 11:15:59 首次发布

本文链接：https://blog.csdn.net/xiaobaihaob/article/details/128076015

版权

该博客介绍了如何在Java后台通过POM文件添加Hadoop依赖，实现视频上传到Hadoop分布式文件系统，并提供了从Hadoop提取视频的代码示例。关键步骤包括配置Hadoop地址，利用FileSystem API进行文件操作。

摘要由CSDN通过智能技术生成

首先pom文件要添加3个依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>3.0.3</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>3.0.3</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.0.3</version>
</dependency>

后台代码：

方法传参时要加上 MultipartFile file;

// 获取原始图片的拓展名
      String originalFilename = file.getOriginalFilename();
//    // 新的文件名字
      String newFileName = UUID.randomUUID() + originalFilename;

Configuration conf=new Configuration();
conf.set("fs.defaultFS","hdfs://localhost:9000");
//格局配置向去获取文件系统
FileSystem fileSystem = FileSystem.get(conf);

FSDataOutputStream out=fileSystem.create(new Path("/"+newFileName));
ByteArrayInputStream inputStream= new ByteArrayInputStream(file.getBytes());
byte[] bytes=new byte[1024];
int len=0;
while((len=inputStream.read(bytes))!=-1){
   out.write(bytes,0,len);
}
inputStream.close();
out.close();

我这个是一个上传视频，上传成功直接保存在Hadoop上了