minio 使用 PostPolicy 方式上传文件

前言

之前写过一篇有关 minio 的介绍，其中介绍了一种通过 sts 临时凭证上传文件的方式。但是发现这种方式无法限制上传文件的大小（如果未设置桶策略），本篇介绍下客户端上传的另一种方式 PostPolicy 。

PostPolicy 简介

PostPolicy 是一种用于生成预签名的 POST 请求的方法，允许客户端直接向 S3 兼容的存储服务（如 MinIO）上传文件，而不需要通过后端服务器中转。

可以在 PostPolicy 中设置各种条件，如文件大小限制、文件名前缀等。

PostPolicy 基本使用

直接上代码，注意：代码中的 endpoint 等值要替换掉。

package main

import (
	"bytes"
	"context"
	"fmt"
	"github.com/minio/minio-go/v7"
	"github.com/minio/minio-go/v7/pkg/credentials"
	"io"
	"log"
	"mime/multipart"
	"net/http"
	"net/url"
	"os"
	"time"
)

func main() {
	client := getMinioClient()

	bucket := "test"
	object := "test"

	policy := minio.NewPostPolicy()
	policy.SetBucket(bucket)
	policy.SetKey(object)
	policy.SetUserMetadata("uid", "张三")
	policy.SetContentLengthRange(10, 1024*1024)         // 文件大小限制在10字节到1MB之间
	policy.SetExpires(time.Now().Add(15 * time.Minute)) // Expires in 15 minutes.

	u, formData, err := client.PresignedPostPolicy(context.Background(), policy)
	if err != nil {
		log.Fatal(err)
	}
	fmt.Println("URL:", u)
	for k, v := range formData {
		fmt.Printf("\t%s: %s\n", k, v)
	}

	fmt.Println("============================================================")

	err = tPresignedPostPolicyUpload(u, formData)
	fmt.Println(err)
}

func getMinioClient() *minio.Client {
	c, err := getClient("172.16.60.129:9000", "test", "test", false)
	if err != nil {
		log.Fatal(err)
	}
	return c
}

func getClient(endpoint string, u, pwd string, secure bool) (*minio.Client, error) {
	minioClient, err := minio.New(endpoint, &minio.Options{
		Creds:  credentials.NewStaticV4(u, pwd, ""),
		Secure: secure, // 是否使用 HTTPS
	})
	if err != nil {
		return nil, err
	}
	return minioClient, nil
}

func tPresignedPostPolicyUpload(u *url.URL, formData map[string]string) (err error) {
	buff := new(bytes.Buffer)
	writer := multipart.NewWriter(buff)

	for k, v := range formData {
		err = writer.WriteField(k, v)
		if err != nil {
			return
		}
	}

	cerFile, err := writer.CreateFormFile("file", "1.png") // 文件名无所谓
	if err != nil {
		return err
	}
	// 从文件读取数据，写入表单
	srcFile, err := os.Open(`E:\test\1.png`)
	if err != nil {
		return err
	}
	defer srcFile.Close()
	if _, err = io.Copy(cerFile, srcFile); err != nil {
		return err
	}

	contentType := writer.FormDataContentType()
	if err = writer.Close(); err != nil {
		return
	}

	req, err := http.NewRequest(http.MethodPost, u.String(), buff)
	if err != nil {
		return
	}
	req.Header.Set("Content-Type", contentType)
	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		return err
	}
	defer resp.Body.Close()

	err = resp.Write(os.Stdout)

	// 200 - 299 都成功
	if resp.StatusCode < http.StatusOK || resp.StatusCode >= http.StatusMultipleChoices {
		err = fmt.Errorf("bad status: %s", resp.Status)
	}

	return
}

代码执行结果如下

URL: http://172.16.60.129:9000/test/
	policy: eyJleHBpcmF0aW9uIjoiMjAyNC0xMS0xOVQxODo1Mzo0MS42NjJaIiwiY29uZGl0aW9ucyI6W1siZXEiLCIkYnVja2V0IiwidGVzdCJdLFsiZXEiLCIka2V5IiwidGVzdCJdLFsiZXEiLCIkeC1hbXotbWV0YS11aWQiLCLlvKDkuIkiXSxbImVxIiwiJHgtYW16LWRhdGUiLCIyMDI0MTExOVQxMDM4NDFaIl0sWyJlcSIsIiR4LWFtei1hbGdvcml0aG0iLCJBV1M0LUhNQUMtU0hBMjU2Il0sWyJlcSIsIiR4LWFtei1jcmVkZW50aWFsIiwiYWRtaW4vMjAyNDExMTkvdXMtZWFzdC0xL3MzL2F3czRfcmVxdWVzdCJdLFsiY29udGVudC1sZW5ndGgtcmFuZ2UiLCAxMCwgMTA0ODU3Nl1dfQ==
	x-amz-algorithm: AWS4-HMAC-SHA256
	x-amz-credential: admin/20241119/us-east-1/s3/aws4_request
	x-amz-date: 20241119T103841Z
	x-amz-signature: 7de6ac26fd8e4eeb5115a2c6f96540e6b76c78c8dac6fba52dad9f23db5b71a8
	bucket: test
	key: test
	x-amz-meta-uid: 张三
============================================================
HTTP/1.1 204 No Content
Content-Length: 0
Accept-Ranges: bytes
Date: Tue, 19 Nov 2024 10:38:40 GMT
Etag: "8b189b7049dcb15ab71e2643bddaf786"
Location: http://172.16.60.129:9000/test/test
Server: MinIO
Strict-Transport-Security: max-age=31536000; includeSubDomains
Vary: Origin
Vary: Accept-Encoding
X-Amz-Id-2: dd9025bab4ad464b049177c95eb6ebf374d3b3fd1af9251148b658df7ac2e3e8
X-Amz-Request-Id: 180958648FA9B0F7
X-Content-Type-Options: nosniff
X-Xss-Protection: 1; mode=block

<nil>

注意：这里返回的 StatusCode 是 204，但是不影响，文件还是成功上传了的。

总结

本篇简单介绍了下 minio 直接从客户端上传文件的另一种方式 PostPolicy，并附上了示例代码。

用户拿到 sts 临时凭证后随意上传文件，这个没法控制，如果真有人拿到了临时凭证恶意上传大文件，导致 oss 服务不能用了，那只有通过法律的铁拳来打击了。其实通过 PostPolicy 方式也不能做太多的限制，例如：文件内容的判断也是做不了的。

所以如果真的需要做很强的上传控制，还是从业务服务器走一遭吧，在业务服务器中自己做控制（oss 的设置初衷也不会考虑这些，只是做好自己的文件存储），这流量费是省不了了！

最后再提一下，其实如果仅做上传文件大小的控制，直接给 minio 服务器加上个 nginx 也能达到目的，小伙伴们还是得根据实际情况来判断到底要怎么去做上传限制。