AWSS3直接获取桶中Excel文件数据并返回List集合

最新推荐文章于 2024-01-24 17:38:01 发布
最新推荐文章于 2024-01-24 17:38:01 发布
阅读量778 收藏 5
点赞数 2
分类专栏： java easypoi aws 文章标签： excel poi java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47996698/article/details/116943176
版权
java 同时被 3 个专栏收录
24 篇文章 0 订阅
订阅专栏
easypoi
2 篇文章 0 订阅
订阅专栏
aws
2 篇文章 0 订阅
订阅专栏

导入POM文件

<!--S3文件上传所需jar包-->
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-s3</artifactId>
            <version>1.11.233</version>
        </dependency>
        <dependency>
            <groupId>software.amazon.awssdk</groupId>
            <artifactId>s3</artifactId>
            <version>2.13.63</version>
        </dependency>
<!--easyPoi-->
        <dependency>
            <groupId>cn.afterturn</groupId>
            <artifactId>easypoi-base</artifactId>
            <version>3.2.0</version>
        </dependency>
        <dependency>
            <groupId>cn.afterturn</groupId>
            <artifactId>easypoi-web</artifactId>
            <version>3.2.0</version>
        </dependency>
        <dependency>
            <groupId>cn.afterturn</groupId>
            <artifactId>easypoi-annotation</artifactId>
            <version>3.2.0</version>
        </dependency>

第一步，设置S3必要参数

   //accessKeyID
    public static String accessKeyID ="xxxx";
    //secretKey
    public static String secretKey = "xxxx";
    //S3上桶的名称
    public static String bucketName = "xxxx";
    //所属地区
    public static String region = "xxxx";

    /**
     * 创建访问凭证对象
     */
    private static final BasicAWSCredentials awsCreds = new BasicAWSCredentials(accessKeyID, secretKey);
    /**
     * 创建s3对象
     */
    private static final AmazonS3 s3 = AmazonS3ClientBuilder.standard()
            .withCredentials(new AWSStaticCredentialsProvider(awsCreds))
            //设置服务器所属地区
            .withRegion(Regions.CN_NORTHWEST_1)
            .build();

第三步，获取S3Object对象,filekey作为参数

public static S3Object getS3Object(String filekey){
    return s3.getObject(new GetObjectRequest(bucketName, filekey));
}

第四步，读取S3Object流并使用EasyPoi导出list集合

		String fileKey="20211402020231_辖区territory数据.xlsx";
        S3Object s3Object = S3utilsClass.getS3Object(fileKey);
        S3ObjectInputStream objectContent = s3Object.getObjectContent();
        //  转换成字符流
        //AreasTerritoryPoi为你的对象实体类
        List<AreasTerritoryPoi> poiList = ExcelUtils.importExcel(objectContent, 0, 1, true, AreasTerritoryPoi.class);
        System.out.println(poiList.toString());

附加：EasyPoi工具类

import cn.afterturn.easypoi.excel.ExcelExportUtil;
import cn.afterturn.easypoi.excel.ExcelImportUtil;
import cn.afterturn.easypoi.excel.entity.ExportParams;
import cn.afterturn.easypoi.excel.entity.ImportParams;
import cn.afterturn.easypoi.excel.entity.enmus.ExcelType;
import org.apache.commons.lang3.StringUtils;
import org.apache.poi.ss.usermodel.Workbook;
import org.springframework.web.multipart.MultipartFile;

import javax.servlet.http.HttpServletResponse;
import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.net.URLEncoder;
import java.util.List;
import java.util.Map;
import java.util.NoSuchElementException;

public class ExcelUtils {
	/**
	 * excel 导出
	 *
	 * @param list           数据
	 * @param title          标题
	 * @param sheetName      sheet名称
	 * @param pojoClass      pojo类型
	 * @param fileName       文件名称
	 * @param isCreateHeader 是否创建表头
	 * @param response
	 */
	public static void exportExcel(List<?> list, String title, String sheetName, Class<?> pojoClass, String fileName,
                                   boolean isCreateHeader, HttpServletResponse response) throws IOException {
		ExportParams exportParams = new ExportParams(title, sheetName, ExcelType.XSSF);
		exportParams.setCreateHeadRows(isCreateHeader);
		defaultExport(list, pojoClass, fileName, response, exportParams);
	}

	/**
	 * excel 导出
	 *
	 * @param list      数据
	 * @param title     标题
	 * @param sheetName sheet名称
	 * @param pojoClass pojo类型
	 * @param fileName  文件名称
	 * @param response
	 */
	public static void exportExcel(List<?> list, String title, String sheetName, Class<?> pojoClass, String fileName,
			HttpServletResponse response) throws IOException {
		defaultExport(list, pojoClass, fileName, response, new ExportParams(title, sheetName, ExcelType.XSSF));
	}

	/**
	 * excel 导出
	 *
	 * @param list         数据
	 * @param pojoClass    pojo类型
	 * @param fileName     文件名称
	 * @param response
	 * @param exportParams 导出参数
	 */
	public static void exportExcel(List<?> list, Class<?> pojoClass, String fileName, ExportParams exportParams,
			HttpServletResponse response) throws IOException {
		defaultExport(list, pojoClass, fileName, response, exportParams);
	}

	/**
	 * excel 导出
	 *
	 * @param list     数据
	 * @param fileName 文件名称
	 * @param response
	 */
	public static void exportExcel(List<Map<String, Object>> list, String fileName, HttpServletResponse response)
			throws IOException {
		defaultExport(list, fileName, response);
	}

	/**
	 * 默认的 excel 导出
	 *
	 * @param list         数据
	 * @param pojoClass    pojo类型
	 * @param fileName     文件名称
	 * @param response
	 * @param exportParams 导出参数
	 */
	private static void defaultExport(List<?> list, Class<?> pojoClass, String fileName, HttpServletResponse response,
			ExportParams exportParams) throws IOException {
		Workbook workbook = ExcelExportUtil.exportExcel(exportParams, pojoClass, list);
		downLoadExcel(fileName, response, workbook);
	}

	/**
	 * 默认的 excel 导出
	 *
	 * @param list     数据
	 * @param fileName 文件名称
	 * @param response
	 */
	private static void defaultExport(List<Map<String, Object>> list, String fileName, HttpServletResponse response)
			throws IOException {
		Workbook workbook = ExcelExportUtil.exportExcel(list, ExcelType.HSSF);
		downLoadExcel(fileName, response, workbook);
	}

	/**
	 * 下载
	 *
	 * @param fileName 文件名称
	 * @param response
	 * @param workbook excel数据
	 */
	private static void downLoadExcel(String fileName, HttpServletResponse response, Workbook workbook)
			throws IOException {
		try {
			response.setCharacterEncoding("UTF-8");
			response.setHeader("content-Type", "application/vnd.ms-excel");
			response.setHeader("Content-Disposition", "attachment;filename="
					+ URLEncoder.encode(fileName + "." + ExcelTypeEnum.XLSX.getValue(), "UTF-8"));
			workbook.write(response.getOutputStream());
		} catch (Exception e) {
			throw new IOException(e.getMessage());
		}
	}

	/**
	 * excel 导入
	 *
	 * @param filePath   excel文件路径
	 * @param titleRows  标题行
	 * @param headerRows 表头行
	 * @param pojoClass  pojo类型
	 * @param <T>
	 * @return
	 */
	public static <T> List<T> importExcel(String filePath, Integer titleRows, Integer headerRows, Class<T> pojoClass)
			throws IOException {
		if (StringUtils.isBlank(filePath)) {
			return null;
		}
		ImportParams params = new ImportParams();
		params.setTitleRows(titleRows);
		params.setHeadRows(headerRows);
		params.setNeedSave(true);
		params.setSaveUrl("/excel/");
		try {
			return ExcelImportUtil.importExcel(new File(filePath), pojoClass, params);
		} catch (NoSuchElementException e) {
			throw new IOException("模板不能为空");
		} catch (Exception e) {
			throw new IOException(e.getMessage());
		}
	}

	/**
	 * excel 导入
	 *
	 * @param file      excel文件
	 * @param pojoClass pojo类型
	 * @param <T>
	 * @return
	 */
	public static <T> List<T> importExcel(MultipartFile file, Class<T> pojoClass) throws IOException {
		return importExcel(file, 1, 1, pojoClass);
	}

	/**
	 * excel 导入
	 *
	 * @param file       excel文件
	 * @param titleRows  标题行
	 * @param headerRows 表头行
	 * @param pojoClass  pojo类型
	 * @param <T>
	 * @return
	 */
	public static <T> List<T> importExcel(MultipartFile file, Integer titleRows, Integer headerRows, Class<T> pojoClass)
			throws IOException {
		return importExcel(file, titleRows, headerRows, false, pojoClass);
	}

	/**
	 * excel 导入
	 *
	 * @param file       上传的文件
	 * @param titleRows  标题行
	 * @param headerRows 表头行
	 * @param needVerfiy 是否检验excel内容
	 * @param pojoClass  pojo类型
	 * @param <T>
	 * @return
	 */
	public static <T> List<T> importExcel(MultipartFile file, Integer titleRows, Integer headerRows, boolean needVerfiy,
                                          Class<T> pojoClass) throws IOException {
		if (file == null) {
			return null;
		}
		try {
			return importExcel(file.getInputStream(), titleRows, headerRows, needVerfiy, pojoClass);
		} catch (Exception e) {
			throw new IOException(e.getMessage());
		}
	}

	/**
	 * excel 导入
	 *
	 * @param inputStream 文件输入流
	 * @param titleRows   标题行
	 * @param headerRows  表头行
	 * @param pojoClass   pojo类型
	 * @param <T>
	 * @return
	 */
	public static <T> List<T> importExcel(InputStream inputStream, Integer titleRows, Integer headerRows,
                                          boolean needVerify, Class<T> pojoClass) throws IOException {
		if (inputStream == null) {
			return null;
		}
		ImportParams params = new ImportParams();
		params.setTitleRows(titleRows);
		params.setHeadRows(headerRows);
		params.setSaveUrl("/excel/");
		params.setNeedSave(true);
		params.setNeedVerfiy(needVerify);
		try {
			return ExcelImportUtil.importExcel(inputStream, pojoClass, params);
		} catch (NoSuchElementException e) {
			throw new IOException("excel文件不能为空");
		} catch (Exception e) {
			throw new IOException(e.getMessage());
		}
	}

	/**
	 * Excel 类型枚举
	 */
	enum ExcelTypeEnum {
		XLS("xls"), XLSX("xlsx");
		private String value;

		ExcelTypeEnum(String value) {
			this.value = value;
		}

		public String getValue() {
			return value;
		}

		public void setValue(String value) {
			this.value = value;
		}
	}

}

其他：S3工具类方法（包含上传下载）

//S3文件上传方法
    public static String S3upload(MultipartFile multipartFile){

        String localFileName = null;
        String s3FileFullPath = null;
        String originalFilename = multipartFile.getOriginalFilename();
        Date date = new Date();
        SimpleDateFormat formatter_yyyy = new SimpleDateFormat("yyyyHHmmhhmmss");
        if (multipartFile.isEmpty()) {
            return "上传文件不能为空";
        }
        if(StringUtils.isEmpty(originalFilename)){
             localFileName =  "." + multipartFile.getOriginalFilename().substring(multipartFile.getOriginalFilename().lastIndexOf(".") + 1)+"xlsx";
             s3FileFullPath = formatter_yyyy.format(date) + "_"+"校验结果报告"+ localFileName;
        }else{
            //生成随机文件名   localFileName
             localFileName =  "." + multipartFile.getOriginalFilename().substring(multipartFile.getOriginalFilename().lastIndexOf(".") + 1);
            //在随机名前加上年月
             s3FileFullPath = formatter_yyyy.format(date) + "_"+originalFilename.substring(0,multipartFile.getOriginalFilename().lastIndexOf("."))+ localFileName;
        }
        //获取S3Client对象
        AWSCredentials awsCredentials = new BasicAWSCredentials(accessKeyID, secretKey);
        AmazonS3ClientBuilder builder = AmazonS3ClientBuilder.standard().withCredentials(new AWSStaticCredentialsProvider(awsCredentials));
        builder.setRegion(region);
        AmazonS3 s3Client = builder.build();
        ObjectMetadata metadata  = new ObjectMetadata();
        metadata.setContentType(multipartFile.getContentType());
        metadata.setContentLength(multipartFile.getSize());
        try {
            //开始上传文件
            //s3FileFullPath作为该文件的唯一标识符key
            PutObjectResult putResult = s3Client.putObject(bucketName, s3FileFullPath, multipartFile.getInputStream(), metadata);
            System.out.println("【流方式】上传MumbaiS3完成，md5：" + putResult.getETag() + "，S3文件：" + s3FileFullPath);
        } catch (Exception e) {
            e.printStackTrace();
        }
        //返回文件在S3上的key
        return s3FileFullPath;
    }

S3下载的方法（注意，此方法返回的是一个URL，需要触发才能下载文件）

//S3文件下载
    public static String downloadFile(String key){
        try {
            if(StringUtils.isEmpty(key)){
                return null;
            }
            GeneratePresignedUrlRequest httpRequest = new GeneratePresignedUrlRequest(bucketName, key);
            return s3.generatePresignedUrl(httpRequest).toString();
        }catch (Exception e){
            e.printStackTrace();
        }
        return null;
    }
黄豆粉面包
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python3列表
weixin_43265596的博客
07-31 225
一、列表 1. 通用的列表操作 列表是可变的，可以修改其内容 1.1 列表的创建 只要把逗号分隔的不同的数据项使用方括号括起来即可 >>> a = [1, 2, 3, 4] >>> a [1, 2, 3, 4] ​空列表是使用不包含任何内容的两个方括号表示 >>> a = [] >>> a [] &g...
关于Excel导入导出那些事
波哥有话说
12-11 111
一、使用poi 一般简单的Excel导入导出处理，使用poi即可，依赖包如下： <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.17</version> </dependency> <dependency> <groupId>o
Amazon S3获取指定桶中所有对象列表
qq_32238611的博客
12-30 1624
项目中使用AWS S3对象存储的时候遇到一个问题，需要列出指定桶中的所有对象列表，但是参考官方文档，使用listObjects方法一次最多只能输出1000个对象。
aws s3 獲取所有文件_将AWS s3文件读取为Java代码
weixin_42517486的博客
01-17 856
I tried to read a file from AWS s3 to my java code:File file = new File("s3n://mybucket/myfile.txt");FileInputStream fileInput = new FileInputStream(file);Then I got an error:java.io.FileNotFoundExcep...
[ 云计算 | AWS 实践 ] 使用 Java 列出存储桶中的所有 AWS S3 对象
我在山城重庆，我希望能为这片软件沙漠地带贡献自己的一滴水，Stay tuned!
11-02 4181
在本文中，我们将重点介绍如何使用 Java 列出 S3 存储桶中的所有对象。我们将讨论如何使用适用于 Java 的 AWS 开发工具包与 S3 进行交互，并查看不同用例的示例。重点是使用适用于 Java 的 AWS 开发工具包 V2，该开发工具包相对于之前的版本有多项改进，例如增强的性能、非阻塞 I/O 和用户友好的 API 设计。本文介绍了如何在 AWS S3 存储桶中列出对象的不同方法，包括使用延续标记进行分页、使用 ListObjectsV2Iterable 进行分页以及使用前缀进行对象的列出。
如何将亚马逊AWSS3存储桶的访问权限到一个特定IAM角色
02-25
本文所述的解决方案使用存储桶策略来管理对S3存储桶的访问–即使实体可以访问完整的S3API。下图展示了此解决方案如何应用于同一账户内的存储桶。1.IAM用户的策略和角色的用户策略授予对“s3:*”的访问权限。2.S3存储...
awss3-1.6.53.zip
12-01
awss3
Vue20dropzone组件无服务器上传文件至AWSS3
08-09
Vue 2.0 dropzone 组件无服务器上传文件至AWS S3
linux-使用Cronjob备份数据库静态文件和配置至AWSS3
08-13
使用Cronjob备份数据库、静态文件和配置至AWS S3
读取s3图片并保存至excel
MusicDancing的博客
12-05 1005
11
S3 亚马逊附件的上传、下载、批量下载、删除、创建桶~
最新发布
qq_45698557的博客
01-24 740
以上就是对S3象存储对应的操作~
分享一下：上传文件到亚马逊的S3，并从指定桶里面拉取文件
m0_58134155的博客
09-22 787
以最简单方式，上传和下载 AWS s3 文件
java aws s3_用Java lambda读取AWS S3上的文件
weixin_27038245的博客
02-20 1295
语境:我正在尝试读取AWS S3上的csv文件,计算其数据并将结果写入同一个S3桶中的另一个csv。我尝试了以下代码来创建一个类,该类将读取Main,其中参数存储在名为lambdaCmd.txt. 每一次LAMBDACMD修改后,将触发lambda函数并LAMBDACMD通过s3event参数:public class LambdaCmd implements RequestHandler{sta...
JAVA判断字符串以某个字母为开头
weixin_47996698的博客
06-21 2682
JAVA判断字符串以某个字母为开头，此处判断以字符串“p”开头以“r”结尾
字符串类型的“Tue Oct 01 00:00:00 CST 2019”转为Date格式
weixin_47996698的博客
06-03 1890
　　String dateStr = “Tue Oct 01 00:00:00 CST 2019”；　 Date date = new SimpleDateFormat("EEE MMM dd HH:mm:ss zzz yyyy",Locale.US) .parse(dateStr);
搭配java开发环境遇到的一些问题
weixin_47996698的博客
03-21 1463
1. nacos闪退 在windows power shell里打开提示需要JDK版本64位以上且不低于1.8。 但是本地java版本在1.8以上且满足64位 解决：分析发现环境变量JAVA_HOME指定错误，nacos只认JAVA_HOME中的地址 2. Maven依赖报错 新配置好的的maven环境，idea中报错maven无法正常编译项目。 但是使用idea默认的maven环境却可以正常编译 解决：本地idea版本2020.1.1，只能适配3.6.1以下的maven，而配置的M...
Spring-Retry重试机制
weixin_47996698的博客
01-04 987
Spring实现了一套重试机制，功能简单实用。Spring Retry是从Spring Batch独立出来的一个功能，已经广泛应用于Spring Batch,Spring Integration, Spring for Apache Hadoop等Spring项目。 本文将讲述如何使用Spring Retry及其实现原理。 重试，其实我们其实很多时候都需要的，为了保证容错性，可用性，一致性等。一般用来应对外部系统的一些不可预料的返回、异常等，特别是网络延迟，中断等情况。还有在现在流行的微服务治理框架中，通
java -jar启动报错 org.yaml.snakeyaml.error.YAMLException: java.nio.charset.MalformedInputExcept
weixin_47996698的博客
04-20 973
问题原因： 配置文件错误： 文件编写错误，一般情况在于空格多或者少的原因，检查下空格 用jar包启动，yml文件中包含中文报错 命令java -jar productName 替换为 java -Dfile.encoding=utf-8 -jar productName
上传文件到AWSS3
08-23
要将文件上传到AWS S3，您可以按照以下步骤进行操作： 1. 首先，您需要创建一个 AWS S3 存储桶(bucket)。您可以在 AWS 管理控制台中创建或使用 AWS SDK 进行创建。 2. 安装 AWS SDK 或使用 AWS CLI（命令行界面）。 3. 使用 AWS SDK 或 AWS CLI 提供的方法，将文件上传到 S3 存储桶中。这些方法通常包括指定存储桶名称、文件路径和文件对象等信息。 以下是使用 AWS SDK for Python (Boto3) 进行文件上传的示例代码： ```python import boto3 # 创建 S3 客户端 s3 = boto3.client('s3') # 指定存储桶名称和文件路径 bucket_name = 'your_bucket_name' file_path = 'path/to/your/file' # 将文件上传到 S3 存储桶 s3.upload_file(file_path, bucket_name, file_path) ``` 请确保替换 `your_bucket_name` 和 `path/to/your/file` 为实际的存储桶名称和文件路径。此代码将使用默认凭证配置进行上传。 如果您使用其他编程语言或 AWS CLI，请参考相应的文档和示例代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值