文件异步多备常用方案

最新推荐文章于 2024-08-16 21:08:18 发布

你是魔鬼吧

最新推荐文章于 2024-08-16 21:08:18 发布

阅读量506

点赞数

分类专栏：业务&开发文章标签： golang

本文链接：https://blog.csdn.net/qq_42403866/article/details/129345165

版权

本文探讨了在业务中确保文件安全存储的场景，需要将文件A同时上传到两个云存储服务oss a和oss b。文章列举了四种异步上传策略，包括直接读取内存、创建临时文件、多句柄操作和使用硬链接，并分析了各自的优缺点。总结强调选择策略应根据具体业务场景权衡，提供思路供参考。

摘要由CSDN通过智能技术生成

业务需求上经常存在需要对同一个文件进行双上传，上传到不同云存储桶，以防出现某一个云厂商因各种意外导致自身服务出现不可用的情况，当然，还有其他措施可以避免，现在只针对通过程序业务代码而双写存储的这个场景。

业务场景

文件A上传到oss a，同时也需要将这个文件A异步上传到oss b，而文件A在主协程会被remove。

下面有份伪代码去描述这个场景

func ABC() {
   
	
	file, err := os.Open(path)
	if err != nil {
   
		return
	}
	defer func() {
   
		file.Close()
		os.Remove(path)
	}()

	...
	// 上传到oss a
	upload2OssA(file)

	
	...

	// TODO 异步上传到oss b

}

我们可以看到主routine打开了一个文件，并且上传到oss a，程序结束后会close文件且remove文件了，现在希望对这个文件异步上传到oss b

方式一

将文件内容读取出来上传

func ABC() {
   

	file, err := os.Open(path)
	if err != nil {
   
		return
	}
	defer func() {
   
		file.Close()
		os.Remove(path)
	}()

	...
	// 上传到oss a
	upload2OssA(file)


	...

	// TODO 异步上传到oss b
	method1(file