多线程下文件名重复导致 Data read has a different length than the expected

产生原因:目前开发中遇到的场景是这样的,我有一个方法a需要从公司
ftp服务器上取图片下来保存到一个临时目录。然后通过 amazonS3.putObject() 方法保存图片,保存完后从 本地的临时目录删掉。
由于文件名不是唯一,多线程的时候就会有问题,假如 x 线程 和 y 线程刚好都在操作同一个文件, x 线程存完后删除,y 线程存到一半就不行了 ,这时候就会报错 Data read has a different length than the expected,
可以理解为:amazon原本得知即将要存 1M 的数据,结果接收过来的数据只有 0.5M ,和实际大小不符合就会报错了
在这里插入图片描述

解决方案:
我这种情况是文件名重复导致(具体情况具体分析)。
文件名拼上时间搓或者uuid。
实际测试中多线程情况下使用java.util.UUID.randomUUID(); 会出现uuid重复,而使用 下面这段代码 的uuid不会重复

 public static String randomUUID() {
        ThreadLocalRandom random = ThreadLocalRandom.current();
        return (new UUID(random.nextLong(), random.nextLong())).toString().replace("-", "");
    }
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
这个错误通常是由于图像的像素值超出了其数据类型的范围所引起的。要解决这个问题,你需要手动指定数据范围。 在大多数情况下,你可以通过将像素值缩放到数据类型的范围内来解决此问题。例如,如果你的图像数据类型为uint8(范围为0-255),但像素值超过了这个范围,你可以使用以下代码将像素值缩放到该范围内: ```python import numpy as np # 将图像数据类型转换为float类型,以便进行缩放 image_true = image_true.astype(np.float32) # 将像素值缩放到[0, 255]范围内 image_true = (image_true - image_true.min()) / (image_true.max() - image_true.min()) * 255 # 将图像数据类型转换回uint8 image_true = image_true.astype(np.uint8) ``` 如果你知道图像的像素值范围,则可以手动指定数据范围。例如,如果你的图像像素值范围为[0, 500],你可以使用以下代码指定数据范围: ```python import torch from torchvision import transforms # 定义数据范围 data_range = [0, 500] # 定义转换器,将像素值缩放到[0, 1]范围内 transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=[0], std=[1/(data_range[1]-data_range[0])]) ]) # 将图像转换为Tensor类型,并缩放到[0, 1]范围内 image_true = transform(image_true) # 将图像数据类型转换为float类型,以便进行计算 image_true = image_true.float() # 通过将像素值缩放到[-1, 1]范围内,使它们适合于模型的输入 image_true = 2 * (image_true - data_range[0]) / (data_range[1] - data_range[0]) - 1 ``` 在这个例子中,我们使用了PyTorch中的transforms模块,将图像像素值缩放到[0, 1]范围内,然后使用Normalize函数将其缩放到[-1, 1]范围内,以便于模型的输入。请注意,我们将数据范围指定为[0, 500],因为我们知道该图像的像素值范围。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值