MinIO实战攻略：轻松构建私有云存储解决方案

OSS 简介

OSS（Object Storage Service）通常指的是对象存储服务，它是一种数据存储架构，用于存储和检索非结构化数据，如图片、视频、文档和备份等。对象存储服务与传统的块存储和文件存储不同，它将数据作为对象来存储，每个对象都包含数据、元数据和一个唯一的标识符。

在对象存储系统中，数据被组织成一个扁平的结构，而不是传统的文件系统中的层级结构。这种结构使得对象存储服务具有以下特点：

• 高扩展性：可以轻松地扩展存储容量，以适应不断增长的数据量。
• 高可用性：通常提供冗余存储，确保数据在硬件故障时仍然可用。
• 易用性：通过简单的API进行数据管理，便于开发者使用。
• 低成本：相对于传统的存储解决方案，对象存储通常具有更低的成本。

OSS可以是任何提供对象存储服务的平台，例如Amazon S3、Azure Blob Storage、Google Cloud Storage以及开源的MinIO。这些服务允许用户通过互联网存储和检索大量数据，并且通常与云计算服务紧密集成，为用户提供灵活、可靠的存储解决方案。

MinIO 核心特性

1. 性能：提供了高性能的对象存储服务，特别是在处理大量小文件时表现出色。
2. 简单性：安装和配置相对简单，用户界面直观，易于管理，部署简单。
3. 轻量级：MinIO具有轻量级的架构，可以快速部署在任何类型的基础设施上，包括Kubernetes、Docker、VMware和裸服务器。
4. 可扩展性：分布式架构，支持水平扩展，可以根据需求增加存储容量和性能。
5. 数据保护：支持纠删码和数据冗余，确保数据的可靠性和持久性。
6. 安全性：提供多种安全特性，包括TLS加密、身份验证和访问控制。
7. 社区和企业支持：MinIO有一个活跃的开源社区，并提供企业支持选项。
8. 兼容性：MinIO与Amazon S3 API兼容，可以使用现有的S3工具和应用程序与MinIO进行交互。

MinIO 基础使用

部署

这里测试时使用的是 Docker 进行部署。

docker run -p 9000:9000 -p 9001:9001 --name minio -e "MINIO_ROOT_USER=localadmin" -e "MINIO_ROOT_PASSWORD=localadminpassword" -v H:/test/minio/data:/data -v H:/test/minio/config:/root/.minio minio/minio server /data --console-address ":9001"

docker-compose.yaml

services:
  minio:
    image: minio/minio
    container_name: minio
    ports:
      - 9000:9000
      - 9001:9001
    volumes:
      - H:/test/minio/data:/data
      - H:/test/minio/config:/root/.minio
    environment:
      - MINIO_ROOT_USER=localadmin
      - MINIO_ROOT_PASSWORD=localadminpassword
    command: server /data --console-address ":9001"

部署成功后，打开 http://127.0.0.1:9001 可看到管理页面。

登录进入控制台

Go SDK 上传文件示例

• GitHub 地址

package main

import (
	"context"
	"log"

	"github.com/minio/minio-go/v7"
	"github.com/minio/minio-go/v7/pkg/credentials"
)

func main() {
	ctx := context.Background()
	endpoint := "127.0.0.1:9000"
	accessKeyID := "localadmin"
	secretAccessKey := "localadminpassword"
	useSSL := false

	// Initialize minio client object.
	minioClient, err := minio.New(endpoint, &minio.Options{
		Creds:  credentials.NewStaticV4(accessKeyID, secretAccessKey, ""),
		Secure: useSSL,
	})
	if err != nil {
		log.Fatalln(err)
	}

	// Make a new bucket called testbucket.
	bucketName := "testbucket"
	location := "us-east-1"

	err = minioClient.MakeBucket(ctx, bucketName, minio.MakeBucketOptions{Region: location})
	if err != nil {
		// Check to see if we already own this bucket (which happens if you run this twice)
		exists, errBucketExists := minioClient.BucketExists(ctx, bucketName)
		if errBucketExists == nil && exists {
			log.Printf("We already own %s\n", bucketName)
		} else {
			log.Fatalln(err)
		}
	} else {
		log.Printf("Successfully created %s\n", bucketName)
	}

	// Upload the test file
	// Change the value of filePath if the file is in another location
	objectName := "testdata"
	filePath := "./console1.png"
	contentType := "application/octet-stream"

	// Upload the test file with FPutObject
	info, err := minioClient.FPutObject(ctx, bucketName, objectName, filePath, minio.PutObjectOptions{ContentType: contentType})
	if err != nil {
		log.Fatalln(err)
	}

	log.Printf("Successfully uploaded %s of size %d\n", objectName, info.Size)
}

程序执行输出如下：

2024/08/23 15:05:22 Successfully created testbucket
2024/08/23 15:05:22 Successfully uploaded testdata of size 451753

查看web控制台，可见已创建存储桶，并且文件已上传。

实际使用

不使用 OSS 的情况下，文件是直接上传至服务器，相关的鉴权服务器自己做即可。使用 OSS 后，需注意上传方式变更，这里借用阿里云的图来作说明。

这里不建议使用服务器代理上传，这样会造成资源浪费，云服务器的流量费也不便宜。

客户端直传，有几种方案

1. 服务端生成STS临时访问凭证
2. 服务端生成PostObject所需的签名和Post Policy
3. 服务端生成PutObject所需的签名URL

这里不一一介绍了，只说一下我这里使用的方案：生成 STS 临时访问凭证。

1. 客户端向业务服务器请求临时访问凭证。
2. 业务服务器使用 STS SDK 调用 AssumeRole 接口，获取临时访问凭证。
3. STS 生成并返回临时访问凭证给业务服务器。
4. 业务服务器返回临时访问凭证给客户端。
5. 客户端使用 OSS SDK 通过该临时访问凭证上传文件到 OSS。
6. OSS 返回成功响应给客户端。

业务服务器示例代码

package main

import (
	"context"
	"encoding/json"
	"fmt"
	"github.com/aws/aws-sdk-go-v2/aws"
	"github.com/aws/aws-sdk-go-v2/service/sts"
	"github.com/aws/aws-sdk-go-v2/service/sts/types"
	"github.com/gin-gonic/gin"
	"net/http"
)

func main() {
	engine := gin.Default()
	engine.GET("/sts", func(c *gin.Context) {
		res, err := getSTS()
		if err != nil {
			c.String(http.StatusInternalServerError, err.Error())
			return
		}
		c.JSON(http.StatusOK, res)
	})
	engine.Run(":8889")
}

type awsCredentials struct{}

func (awsCredentials) Retrieve(ctx context.Context) (aws.Credentials, error) {
	return aws.Credentials{
		AccessKeyID:     "localadmin",
		SecretAccessKey: "localadminpassword",
	}, nil
}

type awsPolicy struct {
	Version   string
	Statement []awsPolicyStatement
}
type awsPolicyStatement struct {
	Effect   string
	Action   []string
	Resource []string
}

func getSTS() (res types.Credentials, err error) {
	// 获取临时凭证，minio 官方的 sdk 中没有找到获取的方法，使用 aws 的
	endpoint := "http://127.0.0.1:9000"
	c := sts.New(sts.Options{
		BaseEndpoint: &endpoint,
		Credentials:  awsCredentials{},
	})

	buf, err := json.Marshal(awsPolicy{
		Version: "2012-10-17", // 协议版本，固定值
		Statement: []awsPolicyStatement{
			{
				Effect:   "Allow",
				Action:   []string{""s3:GetObject", "s3:GetBucketLocation", "s3:PutObject""},
				Resource: []string{"arn:aws:s3:::*"},
			},
		},
	})
	if err != nil {
		return
	}

	var roleArn, roleSessionName string
	policy := string(buf)
	assumeRoleOutput, err := c.AssumeRole(context.Background(), &sts.AssumeRoleInput{
		RoleArn:         &roleArn,
		RoleSessionName: &roleSessionName,
		Policy:          &policy,
	})
	if err != nil {
		return
	}
	fmt.Println("AccessKeyId: ", *assumeRoleOutput.Credentials.AccessKeyId)
	fmt.Println("SecretAccessKey: ", *assumeRoleOutput.Credentials.SecretAccessKey)
	fmt.Println("SessionToken: ", *assumeRoleOutput.Credentials.SessionToken)
	fmt.Println("Expiration: ", assumeRoleOutput.Credentials.Expiration.String())

	res = *assumeRoleOutput.Credentials
	return
}

请求 http://127.0.0.1:8889/sts 可得到返回值

{
    "AccessKeyId": "P6QEGSKSF9F55O7F5T9O",
    "Expiration": "2024-08-23T09:47:04Z",
    "SecretAccessKey": "eL1gFPsln6wVxG42fPTzhz2X2S9LomVBxjJESTmn",
    "SessionToken": "eyJhbGciOiJIUzUxMiIsInR5cCI6IkpXVCJ9.eyJhY2Nlc3NLZXkiOiJQNlFFR1NLU0Y5RjU1TzdGNVQ5TyIsImV4cCI6MTcyNDQwNjQyNCwicGFyZW50IjoibG9jYWxhZG1pbiIsInNlc3Npb25Qb2xpY3kiOiJleUpXWlhKemFXOXVJam9pTWpBeE1pMHhNQzB4TnlJc0lsTjBZWFJsYldWdWRDSTZXM3NpUldabVpXTjBJam9pUVd4c2IzY2lMQ0pCWTNScGIyNGlPbHNpY3pNNlVIVjBUMkpxWldOMElpd2ljek02UjJWMFFuVmphMlYwVEc5allYUnBiMjRpTENKek16cEhaWFJQWW1wbFkzUWlYU3dpVW1WemIzVnlZMlVpT2xzaVlYSnVPbUYzY3pwek16bzZPaW9pWFgxZGZRPT0ifQ.GpBGP_b1uQ5QNX7rb1eOpAybIbsrV_hSJBd_bHEsb6dVT1YQ1U20S3Q-KjyJdqBr7k95W4yJepP8F_bPECg0Sg"
}

客户端上传文件示例

启动上述业务服务器后，访问 http://127.0.0.1:8889/sts 获取凭证后上传文件。

import * as Minio from 'minio'

const minioClient = new Minio.Client({
  endPoint: '127.0.0.1',
  port: 9000,
  useSSL: false,
  accessKey: 'P6QEGSKSF9F55O7F5T9O',
  secretKey: 'eL1gFPsln6wVxG42fPTzhz2X2S9LomVBxjJESTmn',
  sessionToken: 'eyJhbGciOiJIUzUxMiIsInR5cCI6IkpXVCJ9.eyJhY2Nlc3NLZXkiOiJQNlFFR1NLU0Y5RjU1TzdGNVQ5TyIsImV4cCI6MTcyNDQwNjQyNCwicGFyZW50IjoibG9jYWxhZG1pbiIsInNlc3Npb25Qb2xpY3kiOiJleUpXWlhKemFXOXVJam9pTWpBeE1pMHhNQzB4TnlJc0lsTjBZWFJsYldWdWRDSTZXM3NpUldabVpXTjBJam9pUVd4c2IzY2lMQ0pCWTNScGIyNGlPbHNpY3pNNlVIVjBUMkpxWldOMElpd2ljek02UjJWMFFuVmphMlYwVEc5allYUnBiMjRpTENKek16cEhaWFJQWW1wbFkzUWlYU3dpVW1WemIzVnlZMlVpT2xzaVlYSnVPbUYzY3pwek16bzZPaW9pWFgxZGZRPT0ifQ.GpBGP_b1uQ5QNX7rb1eOpAybIbsrV_hSJBd_bHEsb6dVT1YQ1U20S3Q-KjyJdqBr7k95W4yJepP8F_bPECg0Sg'
})

// File to upload
const sourceFile = 'G:/test/5965.json'

// Destination bucket
const bucket = 'testbucket'

// Destination object name
const destinationObject = 'my-test-file.json'

// Set the object metadata
var metaData = {
  'Content-Type': 'text/plain',
  'X-Amz-Meta-Testing': 1234,
  example: 5678,
}

// Upload the file with fPutObject
// If an object with the same name exists,
// it is updated with new data
await minioClient.fPutObject(bucket, destinationObject, sourceFile, metaData)
console.log('File ' + sourceFile + ' uploaded as object ' + destinationObject + ' in bucket ' + bucket)

脚本执行结束查看 web 控制台，可见刚刚上传的文件。

总结

本篇简单介绍了 OSS 是什么以及为什么要用 OSS，简单点说，就是省钱，省下来的钱去烤个串它不香嘛。

开源的 minio 其社区环境好，而且性能、扩展性、安全性方面都不错，建议自部署时使用。

最后简单说明了 minio 的部署以及客户端上传文件的方式，建议客户端直接上传，不要再走业务服务器了，浪费资源，可以使用 sts 临时访问凭证上传文件。

参考

• GitHub
• 官网
• 中文文档
• 阿里云-在客户端直接上传文件到OSS