Java服务凌晨自动补传文件存储系统上传失败的文件

背景

腾讯文件存储的COS系统时而有抖动的现象，导致文件上传失败。而这些文件对客户查记录来说有很重要，所以需要一种兜底机制，在文件存储COS系统不可用的情况下，仍然能保存图片，在COS可用之后重新上传，提高系统的总体可用性。

实现方案

实现思路是：文件先保存本机，在文件上传COS失败时候，将文件信息相关记录写表。通过定时任务，在每天凌晨时重跑表中记录上传文件。

• 文件保存本地
  前端文件传输通过base64传递，后端通过FileUtils写到本地。文件名随机生成。

        protected void writeBase64String2LocalPath(String base64Str, String localFilePath) throws Exception{
                byte[] buffer = Base64.decodeBase64(base64Str);
                FileUtils.writeByteArrayToFile(new File(localFilePath),buffer);
        }

• 文件上传
  根据oss的demo引包实现即可。

• 上传成功删除本地文件

FileUtils.deleteQuietly(new File(filePath));

• 上传失败写入失败记录表
  相关表字段创建SQL：

CREATE TABLE idasc_uploadcos_fail_record (
  table_name        VARCHAR(32) NOT NULL COMMENT '表名称',
  key_name          VARCHAR(16) NOT NULL COMMENT '表主键名称',
  key_value         VARCHAR(32) NOT NULL COMMENT '主键值',
  update_fields     VARCHAR(64) NOT NULL COMMENT '表中要更新的字段',
  host_ip                VARCHAR(32) NOT NULL COMMENT '机器IP（上传文件失败的主机IP）',
  file_path         VARCHAR(128) COMMENT '上传的文件路径',
  times             INT   COMMENT '失败次数',
  last_updated_date DATETIME DEFAULT NOW() COMMENT '上次失败时间',
  PRIMARY KEY (table_name,key_name,key_value,update_fields)
)
ROW_FORMAT=DYNAMIC
ENGINE=INNODB
DEFAULT CHARSET UTF8;
CREATE INDEX idx_uploadcos_fail_record on idasc_uploadcos_fail_record(host_ip,last_updated_date);

• 凌晨定时任务自动上传

@Scheduled(cron="${idap.idasc.task.uploadcosfilesagaintask}")
List<UploadCosFailDTO> list =uploadCosTaskDAO.queryCosFailRecord(uploadCosFailDTO);
                if(CollectionUtils.isNotEmpty(list)){
                        for(int i = 0; i < list.size(); i++){
                                UploadCosFailDTO item = list.get(i);
                                //2、开始上传
                                BizErrors bizErrors = new BizErrors();
                                uploadFile2Fps(item, item.getFilePath(), bizErrors);
                        }
                }

• 集群问题
  服务可能是集群部署，存到本地的文件不一定是在本机，这个没什么，只要在失败记录表读出记录后，根据文件名判断文件路径filePath是否存在文件即可，不存在则跳过，存在则上传

   //增加判定filePath是否为空，或文件是否不存在直接返回null
   if(StringUtils.isBlank(filePath) || !new File(filePath).exists()) {
           LOGGER.warn("uploadFile2Fps file is null, filePath:{}", filePath);
           return null;
   }

总结

有些关键记录数据需要保存，但又不是流程强依赖的，可以考虑这种方式进行兜底保存，增加系统的可用性。