oss多线程 上传_Jmeter测试多线程并发请求 与 OSS 对象存储 测试报告

最新推荐文章于 2024-07-16 14:56:53 发布
最新推荐文章于 2024-07-16 14:56:53 发布
阅读量752 收藏
点赞数
文章标签： oss多线程 上传
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35192920/article/details/112998327
版权
本文主要介绍了在OSS对象存储中遇到的多线程上传时的问题，包括测试文件夹和文件名包含特殊字符导致的删除困难。针对这些问题提出了在上传前进行字符检查的解决方案。此外，还使用Jmeter测试了不同并发量的上传性能，如5个、10个线程，并分析了不同场景下（单线程携带多个文件）的性能表现和可能出现的异常情况。
摘要由CSDN通过智能技术生成

1.测试文件夹包含特殊字符

出现重大BUG问题：  \\ 和 /  运用到Key中  文件夹不能删除

解决方案：应该在根源上传之前进行   规避  出现这样的字符在一起 直接抛出错误信息给用户

114dc84dfc833035115ee8d60b7fe4f7.png

2.测试文件名包含特殊字符

文件名如果包含  / 或 \  这个的格式后，云那边会判定让Key 文件夹之后的字符来作为文件名

解决方案：应该在根源上传之前进行   规避  出现这样的字符在一起 直接抛出错误信息给用户

b037558bec674f8d5ef5682400cc2da3.png

Jmeter测试多线程并发请求

测试机子配置:

System: Windows7

CPU: I5-7400 CPU 3.00GHz

RAM: 8GB

9086e83ab3d475515e3d98070d833b2f.png

项目正常运行时：

本机CPU 使用率 ： 7%

内存占用：57%

项目运行

最低0.47元/天 解锁文章
冬瓜哥已被Jin言
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
oss.rar_Linux录音_OSS_OSS 录音_录音 _混音
09-24
OSS（Open Sound System）是早期广泛使用的音频子系统，它提供了对硬件音频设备的抽象化访问接口，使得开发者能够方便地进行音频输入输出操作，包括录音和播放。本文将深入探讨OSS录音功能及其混音特性。 **OSS录音...
httpsclient 报错 timeout waiting for connection from pool
灯火阑珊处
10-31 2232
httpsclient
记录一次 Timeout waiting for connection from pool 问题解决
sinat_42623729的博客
10-12 496
3.排查server 返回的报文头(Transfer-Encoding)举个例子，如果我们要传输一本“红楼梦”小说到服务器，chunked方式就会先把这本小说分成一章一章的，然后逐个章节上传，而identity方式则是从小说的第一个字按顺序传输到最后一个字结束。4.jar包冲突，特别是三方提供的sdk 就是重点排查的对象比如三方的里面也是封装了不完整的httpclient。第一眼看到这个问题就是认为httpclient 的链接池里面的链接不够用了，一般不设置的话路由是2总链接是20。
JMeter接口测试之文件上传(参数提取与传递)
最新发布
weixin_44149742的博客
07-16 908
如步骤1获取到的接口请求头所示，直接将请求头的信息复制过来即可，但是需要修改获取新的token,以及删除如下图所示的两个请求头，Content-Disposition只需输入form-data;2、在jmeter中导入抓取的接口，首先需要配置token传递（有教程不赘述），然后配置默认消息请求头，因为该接口与其它接口的默认请求头不一致最简单的方式就是每个接口配置一个请求头，该上传文件请求头配置如下。4、在文件上传的接口界面，点击文件上传tab,点击浏览在本地选择需要上传的文件，输入参数名以及MIME类型；
【线上问题】Timeout waiting for connection from pool 问题排查
Prior_SX的博客
06-08 4306
【线上问题】Timeout waiting for connection from pool 问题排查
连接池剖析及连接泄漏定位思路
shuxiaohua的博客
01-12 1373
背景 最近连续解决两起连接泄漏的问题，期间阅读了大量开源源码，发现开源软件中设计的连接池，用的也都是一些常规手段，本文为大家揭开这层神秘的面纱。 概述 大多数应用中应该都是用的TCP协议，TCP连接在建立阶段会经过3次握手，销毁阶段会经过4次握手。标准网络是分7层的，每一层都有各自的协议头，应用层拿到的有效数据，在整个报文中占比没这么大。TCP握手阶段的报文，对应用层来讲都是额外的负担。所以很多客户端都会设计连接池，来复用已建立的连接。减少创建连接带来的消耗。 连接池本身不复杂，如果不想做的通用，少量的代码
【httpClient】Timeout waiting for connection from pool
九师兄
07-05 500
1.场景1 1.1 概述 在做问题：【Flink】HttpClient 报错 I/O SocketException caught when processing request to Connection Reset 的时候，写入了如下测试类，然后运行报错 private CloseableHttpClient closeableHttpClient; @Before public void init(){ PoolingHttpClientConnectio
制作的定时多次批量上传本地文件到阿里云OSS存储，Java脚本后端服务自动执行
05-24
自己制作的可按需求定时每分钟、每小时、每天多次批量上传本地文件到阿里云OSS存储，Java脚本后端服务自动执行，只需更改账号AccessKey和指定目录即可，递归扫描上传指定目录文件，整体流程有不懂环节可私信我
OSS.rar_OSS_web 购物_商品管理_订单 管理 系统_订单管理
09-24
OSS（Object Storage Service）在本场景中可能指的是阿里云的对象存储服务，它是一种云端的存储解决方案，用于存放大量非结构化的数据，如图片、视频、文档等。在"OSS.rar_OSS_web 购物_商品管理_订单 管理 系统_...
oss.rar_OSS_md5加密_oss的加密算法_加密算法 OSS_登录
09-24
**OSS服务与MD5加密算法** 阿里云的OSS（Object Storage Service）是一种高度可扩展、稳定可靠的云存储服务，用于在线存储大量的非结构化数据，如图片、视频、文档等。它提供了丰富的API和工具，使得开发者可以方便...
OSS.zip_HIO_IFT_OSS_ift matlab_iterative fourier
07-14
迭代傅里叶变换（Iterative Fourier Transform,IFT）的一种算法，用HIO和ER混合迭代求解
HttpClient报错Timeout waiting for connection from pool
wanglj7525的专栏
07-13 4100
HttpClient报错Timeout waiting for connection from pool 报错现象 线上项目使用HttpClient请求第三方的HTTP资源，并发量高的时候，日志框报Timeout waiting for connection from pool 客户端的现象是有时正常，有时报错 原因分析 网上查找资料，很多照搬某个博客的解决方法，大致是合理的使用EntityUtils.consume及时释放请求连接 这个说法没错，但是这里的问题不是请求连接释放不当导致的 出现这个异常是因为
HttpClient连接池抛出大量ConnectionPoolTimeoutException: Timeout waiting for connection异常排查...
iteye_11437的博客
07-18 3515
今天解决了一个HttpClient的异常，汗啊，一个HttpClient使用稍有不慎都会是毁灭级别的啊。 这里有之前因为route配置不当导致服务器异常的一个处理：http://blog.csdn.net/shootyou/article/details/6415248 里面的HttpConnectionManager实现就是我在这里使用的实现。   问题表现： tomcat后台日志发现...
多线程（总结完毕） 2020.12.24
liangweihao的博客
12-22 250
什么是多线程？
Timeout waiting for connection from pool 问题排查
知道的越多 不知道的就越多
06-12 998
Timeout waiting for connection from pool 实际场景问题排查及方案解决
线上Timeout waiting for connection from pool问题分析和解决方案
FeelTouch Labs
10-22 1538
可以看到第1条，是老生常谈的资源关闭问题。博主在开发的时候，正是因为不需要知道调用的返回结果，所以没有对Response进行处理，所以资源并没有释放，导致后面再使用HttpClient，就拿不到连接了。可以看到确实默认值是maxConnPerRoute=2、maxConnTotal=20，并且我代码外部没有修传值。第2条，需要知道maxConnTotal和maxConnPerRoute的具体含义，如果是需要。，那么即使maxConnTotal设置再大，还是受限制与maxConnPerRoute的大小。
【java】大并发下Timeout waiting for connection from pool 解决方案
九师兄
03-15 4265
1.概述 今天我也遇到这个情况了。 转载：大并发下Timeout waiting for connection from pool 解决方案 但是我是FLink下遇到的，在processfuntion下open方法中初始化了客户端，但是调用的时候报错了。 这是因为HttpClient在并发量高的时候 , 可能会出现连接池不够用的情况 . 解决方案如下 : // 总连接数 值不应该过大 默认20 pollingConnectionManager.setMaxTotal(200); // 同路由的并发数 , .
Timeout waiting for connection from pool问题排查
liberty888的博客
08-23 418
Timeout waiting for connection from pool问题排查
OSS 性能测试经验总结
weixin_34144848的博客
07-04 1481
OSS 性能测试经验总结 1、CPU 相关 1.1 进程使用CPU 我们通常都会习惯性的用top 去查看进程CPU 使用率，但是通常会进入以下误区系统CPU idle很高CPU不是性能瓶颈 通常我们在看进程CPU使用率的时候用的是top，默认是按照CPU使用排序的，而且这时候看到的进程CPU使用情况是整个进程的，进程内部所有线程CPU使用的总和，这时候如...
OSS与计算引擎融合：建表与存储分离实践
本文主要探讨了存储与计算分离的概念，特别是在阿里云的OSS（对象存储服务）上构建数据表以及使用计算引擎进行数据处理的方法。OSS最初设计用于存储非结构化数据如图片、视频和文件，但随着技术的发展，它已具备了在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值