minio单机、集群搭建、Spring Boot集成,详细步骤

一、单机minio搭建

1.下载rpm包

下载地址:https://dl.min.io/server/minio/release/linux-amd64/

 2.安装

rpm -ivh minio-20220504074527.0.0.x86_64.rpm

 修改 /etc/systemd/system/minio.service文件

#启动的用户和用户组
User=root
Group=root
#配置文件地址
EnvironmentFile=-/etc/default/minio.conf

 创建配置文件并编辑:

#创建文件存储路径
mkdir -p /opt/minio/data
 
#创建并编辑配置文件
touch /etc/default/minio.conf
vi /etc/default/minio.conf
 
#编辑内容,请确保MINIO_VOLUMES(文件存储)路径存在
MINIO_VOLUMES="/opt/minio/data"
MINIO_OPTS="--address :9001 --console-address :9000"
MINIO_ACCESS_KEY=minioadmin
MINIO_SECRET_KEY=minioadmin

安装完成,启动,并查看状态:

#重新刷新
systemctl daemon-reload
#,启动
systemctl start minio
#查看状态
systemctl status minio

 3.浏览器访问:http://ip:9000

若无法访问则关闭防火墙或打开端口

 使用刚刚配置的账户信息登陆即可。

二、minio集群搭建

也可参考:Minio分布式集群搭建部署_虎神大帝的博客-CSDN博客_minio集群部署https://blog.csdn.net/weixin_54610612/article/details/123914606

Linux最新版minIO分布式集群部署+高可用_黑科技王子的博客-CSDN博客_minio高可用1.1. 介绍minIO是目前一个比较轻量级的分布式文件系统,遵循apache 2.0开源协议。我们可以把他视为数据中心版的S3(S3是AWS的一个云存储服务,相当于阿里云的oss),他是目前兼容性比较好的对象存储。他本身是由golang开发的,所以运行效率可以和ceph媲美。目前社区也非常活跃,git的代码提交者中,我们可以看到很多中国程序员的身影。1.2. 功能与集成既然称minIO是s3,那么s3的一些特性,minIO是完全具备的。并且,并不是只有商业版才有,而是开源https://blog.csdn.net/zhiboqingyun/article/details/122915081

服务器挂载磁盘路径

192.168.14.131

/data/minio_data

192.168.14.133

/data/minio_data

192.168.14.134

/data/minio_data

192.168.14.136

/data/minio_data

请在操作前关闭防火墙,保证服务器间端口通信正常,并保证时间同步

时间同步:

yum -y install ntp
ntpdate ntp1.alliyun.com
#开启自动同步
service ntpd start
#开机自启同步
systemctl enable ntpd

1.创建minio存储路径(4台机器均要执行)

mkdir -p /data/minio_data

2.挂载磁盘(4台机器均要执行)

 

 

 

 硬盘添加完成后输入:

fdisk -l

 如果没有看见底部对应磁盘,重启服务器后可见。

看到新磁盘/dev/sdb后,开始进行分区及格式化

#依次输入
fdisk  /dev/sdb
m
n
p
1
#回车即可,出现下图后输入w

fdisk -l

 格式化成ext3的文件系统

mkfs -t ext3 /dev/sdb1
#自动挂载
vi /etc/fstab
#添加以下内容
/dev/sdb1          /data/minio_data        ext3    defaults        0 1
 
#使刚才设置指令生效
mount -a
df -h

 注意:挂载后不要在/data/minio_data下放任何文件,挂载自动生成的lost+found可忽略。


2.创建文件(4台机器均要执行)

mkdir -p /data/minio/run/

3.下载minio文件(4台机器均要执行)

wget https://dl.min.io/server/minio/release/linux-amd64/minio

将minio文件移到/data/minio/run/路径下

mv minio /data/minio/run/minio

4.编辑启动脚本(4台机器均要执行)

vi /data/minio/run/run.sh
 
#以下为文件内容
#!/bin/bash
export MINIO_ROOT_USER=minioadmin
export MINIO_ROOT_PASSWORD=minioadmin
 
/data/minio/run/minio server  --config-dir /etc/minio --address ":9000" --console-address ":9001" \
http://192.168.14.131/data/minio_data \
http://192.168.14.133/data/minio_data \
http://192.168.14.134/data/minio_data \
http://192.168.14.136/data/minio_data

注意里面的#!/bin/bash,不加的话后续使用服务启动会直接结束,会出现

main process exited, code=exited, status=203/EXEC

5.创建Minio.server,将minio加入系统服务(4台机器均要执行)

vim /usr/lib/systemd/system/minio.service
 
#以下为文件内容
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/
 
[Service]
WorkingDirectory=/data/minio/run/
ExecStart=/data/minio/run/run.sh
 
Restart=on-failure
RestartSec=5
 
[Install]
WantedBy=multi-user.target

赋予权限:

chmod +x /usr/lib/systemd/system/minio.service && chmod +x /data/minio/run/minio && chmod +x /data/minio/run/run.sh

6.启动集群:

注意:以下命令需以此在每台服务器执行,最少4块磁盘才能顺利启动,得保证4台机器都处于启动状态,并通信正常。(并非启动好一台再下一台)。

#重新刷新
systemctl daemon-reload
#启动,需在每台执行,需依照启动脚本里的服务器顺序执行
systemctl start minio.service
 
 
#4台服务器都执行启动命令后,过一段时间再查看状态,监听并连通需要几秒时间
systemctl status minio.service -l

若启动不成功,可采用/data/minio/run/run.sh直接启动,查看输出内容。

启动成功的界面如下图所示:

 浏览器访问即可看见:

三、Spring boot集成minio

pom.xml

<dependency>
    <groupId>io.minio</groupId>
	<artifactId>minio</artifactId>
	<version>8.0.3</version>
</dependency>

配置文件:

#指向API地址,非控制台地址
minio.url=http://192.168.14.135:9001
minio.accessKey=minioadmin
minio.secretKey=minioadmin
#文件桶名称
minio.bucketName=minuploadfiles

MinIoClientConfig.java

package MinioUtils;
 
import io.minio.MinioClient;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.stereotype.Component;
 
@Component
public class MinIoClientConfig {
    @Value("${minio.url}")
    private String url;
    @Value("${minio.accessKey}")
    private String accessKey;
    @Value("${minio.secretKey}")
    private String secretKey;
 
    /**
     * 注入minio 客户端
     * @return
     */
    @Bean
    public MinioClient minioClient(){
 
        return MinioClient.builder()
                .endpoint(url)
                .credentials(accessKey, secretKey)
                .build();
    }
}

ObjectItem.java

package MinioUtils;
 
public class ObjectItem {
    private String objectName;
    private Long size;
 
    public String getObjectName() {
        return objectName;
    }
 
    public void setObjectName(String objectName) {
        this.objectName = objectName;
    }
 
    public Long getSize() {
        return size;
    }
 
    public void setSize(Long size) {
        this.size = size;
    }
}

MinioHelp.java

package MinioUtils;
 
import baseUtils.MyException;
import baseUtils.ResultEnum;
import common.SystemConfig;
import io.minio.*;
import io.minio.messages.DeleteError;
import io.minio.messages.DeleteObject;
import io.minio.messages.Item;
import org.apache.commons.io.IOUtils;
import org.apache.commons.lang3.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.http.HttpHeaders;
import org.springframework.http.HttpStatus;
import org.springframework.http.MediaType;
import org.springframework.http.ResponseEntity;
import org.springframework.stereotype.Component;
import org.springframework.web.multipart.MultipartFile;
 
import java.io.*;
import java.net.URLEncoder;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.stream.Collectors;
 
@Component
public class MinioHelp {
    private final static Logger logger  = LoggerFactory.getLogger(MinioHelp.class);
 
    @Autowired
    private MinioClient minioClient;
    /**
     * description: 判断bucket是否存在,不存在则创建
     *
     * @return: void
     */
    public void existBucket(String name) {
        try {
            boolean exists = minioClient.bucketExists(BucketExistsArgs.builder().bucket(name).build());
            if (!exists) {
                minioClient.makeBucket(MakeBucketArgs.builder().bucket(name).build());
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
 
    /**
     * 创建存储bucket
     * @param bucketName 存储bucket名称
     * @return Boolean
     */
    public Boolean makeBucket(String bucketName) {
        try {
            minioClient.makeBucket(MakeBucketArgs.builder()
                    .bucket(bucketName)
                    .build());
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
        return true;
    }
 
    /**
     * 删除存储bucket
     * @param bucketName 存储bucket名称
     * @return Boolean
     */
    public Boolean removeBucket(String bucketName) {
        try {
            minioClient.removeBucket(RemoveBucketArgs.builder()
                    .bucket(bucketName)
                    .build());
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
        return true;
    }
    /**
     * description: 上传多个文件
     *
     * @param multipartFile
     * @return: java.lang.String
     */
    public List<String> upload(List<MultipartFile> multipartFile) {
        List<String> names = new ArrayList<>(multipartFile.size());
        String bucketName= SystemConfig.getProperty("minio.bucketName");
        for (int i = 0; i < multipartFile.size(); i++) {
            MultipartFile file=multipartFile.get(i);
            String fileName = file.getOriginalFilename();
            String[] split = fileName.split("\\.");
            if (split.length > 1) {
                fileName = split[0] + "_" + System.currentTimeMillis() + "." + split[1];
            } else {
                fileName = fileName + System.currentTimeMillis();
            }
            InputStream in = null;
            try {
                in = file.getInputStream();
                minioClient.putObject(PutObjectArgs.builder()
                        .bucket(bucketName)
                        .object(fileName)
                        .stream(in, in.available(), -1)
                        .contentType(file.getContentType())
                        .build()
                );
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                if (in != null) {
                    try {
                        in.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
            }
            names.add(fileName);
        }
        return names;
    }
 
    /**
     * description: 上传单个文件
     */
    public boolean uploadOne(String fileName,MultipartFile file) {
        String bucketName= SystemConfig.getProperty("minio.bucketName");
        InputStream in = null;
        boolean isSucceed =false;
        try {
            in = file.getInputStream();
            minioClient.putObject(PutObjectArgs.builder()
                    .bucket(bucketName)
                    .object(fileName)
                    .stream(in, in.available(), -1)
                    .contentType(file.getContentType())
                    .build()
            );
            isSucceed=true;
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (in != null) {
                try {
                    in.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
        return isSucceed;
    }
 
    /**
     * description: 下载文件
     *
     * @param fileName
     * @return: org.springframework.http.ResponseEntity<byte [ ]>
     */
    public ResponseEntity<byte[]> download(String fileName) {
        ResponseEntity<byte[]> responseEntity = null;
        InputStream in = null;
        ByteArrayOutputStream out = null;
        String bucketName= SystemConfig.getProperty("minio.bucketName");
        try {
            in = minioClient.getObject(GetObjectArgs.builder().bucket(bucketName).object(fileName).build());
            out = new ByteArrayOutputStream();
            IOUtils.copy(in, out);
            //封装返回值
            byte[] bytes = out.toByteArray();
            HttpHeaders headers = new HttpHeaders();
            try {
                headers.add("Content-Disposition", "attachment;filename=" + URLEncoder.encode(fileName, "UTF-8"));
            } catch (UnsupportedEncodingException e) {
                e.printStackTrace();
            }
            headers.setContentLength(bytes.length);
            headers.setContentType(MediaType.APPLICATION_OCTET_STREAM);
            headers.setAccessControlExposeHeaders(Arrays.asList("*"));
            responseEntity = new ResponseEntity<byte[]>(bytes, headers, HttpStatus.OK);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            try {
                if (in != null) {
                    try {
                        in.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
                if (out != null) {
                    out.close();
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        return responseEntity;
    }
 
    /**
     * 查看文件对象
     * @param bucketName 存储bucket名称
     * @return 存储bucket内文件对象信息
     */
    public List<ObjectItem> listObjects(String bucketName) {
        Iterable<Result<Item>> results = minioClient.listObjects(
                ListObjectsArgs.builder().bucket(bucketName).build());
        List<ObjectItem> objectItems = new ArrayList<>();
        try {
            for (Result<Item> result : results) {
                Item item = result.get();
                ObjectItem objectItem = new ObjectItem();
                objectItem.setObjectName(item.objectName());
                objectItem.setSize(item.size());
                objectItems.add(objectItem);
            }
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
        return objectItems;
    }
 
    /**
     * 批量删除文件对象
     * @param bucketName 存储bucket名称
     * @param objects 对象名称集合
     */
    public Iterable<Result<DeleteError>> removeObjects(String bucketName, List<String> objects) {
        List<DeleteObject> dos = objects.stream().map(e -> new DeleteObject(e)).collect(Collectors.toList());
        Iterable<Result<DeleteError>> results = minioClient.removeObjects(RemoveObjectsArgs.builder().bucket(bucketName).objects(dos).build());
        return results;
    }
 
    // 下载文件InputStream
    public InputStream downloadInput(String fileName){
        String bucketName= SystemConfig.getProperty("minio.bucketName");
        try {
            return minioClient.getObject(GetObjectArgs
                                         .builder()
                                         .bucket(bucketName)
                                         .object(fileName)
                                         .build());
        } catch (Exception e) {
            e.printStackTrace();
            throw new MyException(ResultEnum.FAST_DFS_ERROR);
        }
    }
 
    //保存文件到服务器
    public String downFileToLocal(String fileName){
        InputStream is =downloadInput(fileName);
        String pathStr= SystemConfig.getProperty("SavePath");
        String FolderStr = "imptemp";
        String wholePath = pathStr + "uploadfiles" + (StringUtils.isBlank(FolderStr) ? "" : "/" + FolderStr+"/"+fileName);
        File file = new File(wholePath);
        logger.info("wholePath="+wholePath);
        if(!file.exists()) {
            if (!file.getParentFile().exists()) {
                file.getParentFile().mkdirs();
            }
            try {
                file.createNewFile();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
 
        try {
            BufferedInputStream in=null;
            BufferedOutputStream out=null;
            in=new BufferedInputStream(is);
            out=new BufferedOutputStream(new FileOutputStream(wholePath));
            int len=-1;
            byte[] b=new byte[1024];
            while((len=in.read(b))!=-1){
                out.write(b,0,len);
            }
            in.close();
            out.close();
            return wholePath;
        } catch (Exception e) {
            e.printStackTrace();
            throw new MyException(ResultEnum.FAST_DFS_ERROR);
        }
    }
}

使用示例:

    @Autowired
    private MinioHelp minioHelp;
    
    //上传文件
    @PostMapping("/MinioFileUpload.action")
    public Object uploadFileInMinio(HttpServletRequest request){
        logger.info("MinioFileUpload");
	    List<MultipartFile> files = ((MultipartHttpServletRequest) request).getFiles("file");
 
        List<Map<String,String>> result=new ArrayList<Map<String,String>>();
	    for (int i = 0; i < files.size(); i++) {
	        MultipartFile file = files.get(i);
            String newFileName =new Date().getTime()+ i+"." + extName;
            try {
            	#上传文件
                boolean isSucceed=minioHelp.uploadOne(newFileName,files.get(i));
                if(!isSucceed){
                    throw new MyException(1037,"文件\""+fileName+"\"上传失败");
                }
 
            }catch (Exception e) {
                e.printStackTrace();
                throw new MyException(ResultEnum.FILE_UPLOAD_FAIL);
            }
        }
        return ResultVOUtil.success(result);
    }
    
    //拉取文件到服务器
    public void downFileToLocal(String fileName){
    	MinioHelp.downFileToLocal(oldFileName);
    }

四、minio使用测试

创建文件桶:

 配置文件桶访问策略:

 

 可在控制台上传图片:

 通过浏览器访问:http://192.168.14.135:9001/文件桶名称/文件名称。

参考文档:

分布式文件服务minio集群搭建

Linux最新版minIO分布式集群部署+高可用

感谢各位大神在网络上分享

  • 4
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,下面是使用docker搭建minio分布式集群详细步骤: 1. 安装Docker和Docker Compose 您需要在您的机器上安装Docker和Docker Compose。如果您还没有安装,请先安装。 2. 创建docker-compose.yml文件 在您的工作目录下创建一个名为docker-compose.yml的文件,并将以下内容复制到文件中。 ``` version: '3' services: minio1: image: minio/minio container_name: minio1 command: server http://minio{1...4}/data{1...4} ports: - "9001:9000" volumes: - ./data1:/data1 environment: MINIO_ACCESS_KEY: YOUR_ACCESS_KEY MINIO_SECRET_KEY: YOUR_SECRET_KEY restart: always minio2: image: minio/minio container_name: minio2 command: server http://minio{1...4}/data{1...4} ports: - "9002:9000" volumes: - ./data2:/data2 environment: MINIO_ACCESS_KEY: YOUR_ACCESS_KEY MINIO_SECRET_KEY: YOUR_SECRET_KEY restart: always minio3: image: minio/minio container_name: minio3 command: server http://minio{1...4}/data{1...4} ports: - "9003:9000" volumes: - ./data3:/data3 environment: MINIO_ACCESS_KEY: YOUR_ACCESS_KEY MINIO_SECRET_KEY: YOUR_SECRET_KEY restart: always minio4: image: minio/minio container_name: minio4 command: server http://minio{1...4}/data{1...4} ports: - "9004:9000" volumes: - ./data4:/data4 environment: MINIO_ACCESS_KEY: YOUR_ACCESS_KEY MINIO_SECRET_KEY: YOUR_SECRET_KEY restart: always ``` 3. 启动集群 在您的工作目录中运行以下Docker Compose命令,以启动Minio集群。 ``` docker-compose up -d ``` 这将在您的机器上启动四个Minio容器,每个容器都有一个自己的数据卷,并且它们都在同一网络中。 4. 访问Minio UI 您可以在浏览器中访问http://localhost:9001/,并使用您的访问密钥和秘密密钥登录Minio UI。您将看到一个名为“data1”的存储桶已经被创建。 5. 添加其他节点 如果您需要添加其他节点,请在docker-compose.yml文件中添加另一个服务,并使用相同的access key和secret key。您还需要在Minio UI中添加新的节点。 这些是使用Docker Compose搭建Minio分布式集群的基本步骤。如果您需要更详细的指导,请查看Minio官方文档。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值