GFS 分布式文件系统搭建

最新推荐文章于 2023-08-01 18:35:29 发布
最新推荐文章于 2023-08-01 18:35:29 发布
阅读量653 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yplayer001/article/details/103676820
版权

GlusterFS集群的模式

GlusterFS 集群的模式只数据在集群中的存放结构，类似于磁盘阵列中的级别。

1、分布式卷（Distributed Volume）

又称哈希卷，近似于RAID0，文件没有分片，文件根据hash算法写入各个节点的硬盘上，优点是容量大，缺点是没冗余。
在这里插入图片描述

2、复制卷（Replicated Volume）

相当于raid1，复制的份数，决定集群的大小，通常与分布式卷或者条带卷组合使用，解决前两种存储卷的冗余缺陷。缺点是磁盘利用率低。
复本卷在创建时可指定复本的数量，通常为2或者3，复本在存储时会在卷的不同brick上，因此有几个复本就必须提供至少多个brick，当其中一台服务器失效后，可以从另一台服务器读取数据，因此复制GlusterFS卷提高了数据可靠性的同事，还提供了数据冗余的功能。
在这里插入图片描述

3、分布式复制卷（Distributed Replicated Volume）

分布式复制GlusterFS卷结合了分布式和复制Gluster卷的特点，看起来类似RAID10，但其实不同，RAID10其实质是条带化，但分布式复制GlusterFS卷则没有。
在这里插入图片描述

4、条带卷（Striped Volume）

相当于raid0，文件是分片均匀写在各个节点的硬盘上的，优点是分布式读写，性能整体较好。缺点是没冗余，分片随机读写可能会导致硬盘IOPS饱和。
在这里插入图片描述

5、分布式条带卷（Distributed Striped Volume）

当单个文件的体型十分巨大，客户端数量更多时，条带卷已经无法满足需求，此时将分布式与条带化结合起来是一个比较好的选择。其性能与服务器数量有关。

GlusterFS 部署：

环境如下：
操作系统IP主机名硬盘数量（除去系统盘）
centos 7.4192.168.50.139node1sdb（10G） sdc（10G） sdd（10G） sde（10G）
centos 7.4192.168.50.140node2sdb（10G） sdc（10G） sdd（10G） sde（10G）
centos 7.4192.168.50.141node3sdb（10G） sdc（10G） sdd（10G） sde（10G）
centos 7.4192.168.50.144node4sdb（10G） sdc（10G） sdd（10G） sde（10G）
centos 7.4192.168.50.143client
第一步：先将每台虚拟机的各个磁盘挂载好，方便操作，可以使用以下脚本
vim a.sh

#!/bin/bash
#磁盘挂载
echo "the disks exist list:"
fdisk -l | grep '磁盘 /dev/sd[a-z]'
echo "======================================"
PS3="chose which disk you want to create:"
select VAR in `ls /dev/sd* | grep -o 'sd[b-z]' | uniq` quit
do
  case $VAR in
  sda)
        fdisk -l /dev/sda
        break ;;
  sd[b-z])
        #create partitions
echo "n
p



w" | fdisk /dev/$VAR
        #make filesystem
        mkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null
        #mount the system
        mkdir -p /data/${VAR}"1" &> /dev/null
        echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
        mount -a &> /dev/null
        break ;;
  quit)
        break ;;
  *)
		echo "wrong disk,please check again" ;;
  esac
 done
第二步：在四台node主机上的操作

（1）修改主机名（node1、node2、node3、node4），并关闭防火墙等。

（2）编辑 hosts 文件，添加主机名和 IP地址：

vim /etc/hosts

......
192.168.50.139 node1
192.168.50.140 node2
192.168.50.141 node3
192.168.50.144 node4

（3）编写 yum 源的库，安装 GlusterFS ：

cd /opt/
mkdir /abc
mount.cifs //192.168.10.15/gfs /opt   //远程挂载到本地
cd /etc/yum.repos.d/
mkdir bak  
mv Cent* bak/   //将原来的源都移到新建的文件夹中

vim /etc/yum.repos.d/GLFS.repo   //新建一个源
[GLFS]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

（3）安装软件包：

yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

（4）开启服务：

systemctl start glusterd.service
systemctl enable glusterd.service 
systemctl status glusterd.service

第三步：添加存储信任池只要在一台主机上添加其他节点即可

gluster peer probe node2
gluster peer probe node3
gluster peer probe node4

[root@node1 yum.repos.d]# gluster peer status

Number of Peers: 3

Hostname: node2
Uuid: 86e94693-aaaf-4eb9-91d6-edce0489e4f7
State: Peer in Cluster (Connected)

Hostname: node3
Uuid: 1ee7a579-4a0e-493e-8709-d8234b8bb858
State: Peer in Cluster (Connected)

Hostname: node4
Uuid: b98e1eb0-3639-47be-a767-3a3df125443a
State: Peer in Cluster (Connected)

第四步：GlusterFS 卷的创建

（1）创建分布式卷：

[root@node1 yum.repos.d]# gluster volume create dis-vol node1:/data/sdb1 node2:/data/sdb1 force
volume create: dis-vol: success: please start the volume to access data

  //利用node1和node2上的两块磁盘创建；dis-vol为磁盘名；force表示强制
     
[root@node1 yum.repos.d]# gluster volume start dis-vol 
volume start: dis-vol: success

[root@node1 yum.repos.d]# gluster volume info  dis-vol 
Volume Name: dis-vol
Type: Distribute
Volume ID: a50b1612-8e67-46b5-b2fa-2894337b74cb
Status: Started
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

（2）创建条带卷：

[root@node1 yum.repos.d]# gluster volume create stripe-vol stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
volume create: stripe-vol: success: please start the volume to access data

[root@node1 yum.repos.d]# gluster volume start stripe-vol 
volume start: stripe-vol: success

[root@node1 yum.repos.d]# gluster volume info stripe-vol 
Volume Name: stripe-vol
Type: Stripe
Volume ID: da81b00a-0e98-43d9-b55a-726c758ecef9
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdc1
Brick2: node2:/data/sdc1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

（3）创建复制卷：

[root@node1 yum.repos.d]# gluster volume create rep-vol replica 2 node3:/data/sdb1 node4:/data/sdb1 force
volume create: rep-vol: success: please start the volume to access data

[root@node1 yum.repos.d]# gluster volume start rep-vol 
volume start: rep-vol: success

[root@node1 yum.repos.d]# gluster volume info rep-vol 
Volume Name: rep-vol
Type: Replicate
Volume ID: fa5bd0c7-5d8d-49da-a25d-9d3fb0592fe3
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node3:/data/sdb1
Brick2: node4:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

（4）创建分布式条带卷（至少4个节点）：

[root@node1 yum.repos.d]# gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
volume create: dis-stripe: success: please start the volume to access data

[root@node1 yum.repos.d]# gluster volume start dis-stripe 
volume start: dis-stripe: success

[root@node1 yum.repos.d]# gluster volume info dis-stripe 
 
Volume Name: dis-stripe
Type: Distributed-Stripe
Volume ID: 6dc5d7c3-76ed-437d-b5fe-e0b875c0de18
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdd1
Brick2: node2:/data/sdd1
Brick3: node3:/data/sdd1
Brick4: node4:/data/sdd1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

（5）创建分布式复制卷（至少4个节点）：

[root@node1 yum.repos.d]# gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
volume create: dis-rep: success: please start the volume to access data

[root@node1 yum.repos.d]# gluster volume start dis-rep 
volume start: dis-rep: success

[root@node1 yum.repos.d]# gluster volume info dis-rep 
 
Volume Name: dis-rep
Type: Distributed-Replicate
Volume ID: dd2c8b19-d63b-42aa-be66-ca760335d0a0
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sde1
Brick2: node2:/data/sde1
Brick3: node3:/data/sde1
Brick4: node4:/data/sde1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

（6）查看创建的卷

[root@node1 yum.repos.d]# gluster volume list
dis-rep
dis-stripe
dis-vol
rep-vol
stripe-vol

第五步：客户端配置

（1）关闭防火墙

（2）配置安装 GFS 源：

cd /opt/
mkdir /abc
mount.cifs //192.168.10.15/gfs /opt   //远程挂载到本地
cd /etc/yum.repos.d/
mkdir bak  
mv Cent* bak/   //将原来的源都移到新建的文件夹中

vim /etc/yum.repos.d/GLFS.repo   //新建一个源
[GLFS]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum -y install glusterfs glusterfs-fuse   //安装软件包

（3）修改 hosts文件：

vim /etc/hosts

192.168.50.139 node1
192.168.50.140 node2
192.168.50.141 node3
192.168.50.144 node4

（4）创建临时挂载点：

mkdir -p /text/dis   //递归创建一个挂载点
mount.glusterfs node1:dis-vol /text/dis/         //挂载分布式卷

mkdir /text/strip
mount.glusterfs node1:stripe-vol /text/strip/     //挂载条带卷

mkdir /text/rep
mount.glusterfs node3:rep-vol /text/rep/          //挂载复制卷

mkdir /text/dis-str
mount.glusterfs node2:dis-stripe /text/dis-str/    //挂载分布式条带卷

mkdir /text/dis-rep
mount.glusterfs node4:dis-rep /text/dis-rep/        //挂载分布式复制卷

（5）查看挂载信息

[root@localhost ~]# df -h
文件系统                 容量  已用  可用 已用% 挂载点
node1:dis-vol             20G  265M   20G    2% /test/dis
node1:stripe-vol          20G  265M   20G    2% /test/strip
node1:rep-vol             10G  233M  9.8G    3% /test/rep
node1:dis-stripe          40G  330M   40G    1% /test/dis_stripe
node1:dis-rep             20G  265M   20G    2% /test/dis_rep

（6）创建5个40M的文件

dd if=/dev/zero of=/demo1.log bs=1M count=40
dd if=/dev/zero of=/demo2.log bs=1M count=40
dd if=/dev/zero of=/demo3.log bs=1M count=40
dd if=/dev/zero of=/demo4.log bs=1M count=40
dd if=/dev/zero of=/demo5.log bs=1M count=40

（7）复制5个文件到不同的卷上

cp /demo* /test/dis
cp /demo* /test/strip
cp /demo* /test/rep
cp /demo* /test/dis_stripe
cp /demo* /test/dis_rep

第六步 测试

（1）查看分布式卷
每个文件都是完整的

[root@node1 ~]# ll -h /data/sdb1/
总用量 160M
-rw-r--r--. 2 root root 40M 12月 18 16:22 demo1.log
-rw-r--r--. 2 root root 40M 12月 18 16:22 demo2.log
-rw-r--r--. 2 root root 40M 12月 18 16:22 demo3.log
-rw-r--r--. 2 root root 40M 12月 18 16:22 demo4.log

[root@node2 ~]# ll -h /data/sdb1/
总用量 40M
-rw-r--r--. 2 root root 40M 12月 18 16:22 demo5.log

（2）查看条带卷
所有文件都被分成各一半进行分布存储

[root@node1 ~]# ll -h /data/sdc1/
总用量 100M
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo1.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo2.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo3.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo4.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo5.log

[root@node2 ~]# ll -h /data/sdc1/
总用量 100M
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo1.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo2.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo3.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo4.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo5.log

（3）查看复制卷
所有文件都被完整复制一遍，进行存储

[root@node3 ~]# ll -h /data/sdb1
总用量 200M
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo1.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo2.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo3.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo4.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo5.log


[root@node4 ~]# ll -h /data/sdb1/
总用量 200M
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo1.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo2.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo3.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo4.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo5.log

（4）查看分布式条带卷

[root@node1 ~]# ll -h /data/sdd1/
总用量 80M
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo1.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo2.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo3.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo4.log


[root@node2 ~]# ll -h /data/sdd1/
总用量 80M
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo1.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo2.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo3.log
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo4.log


[root@node3 ~]# ll -h /data/sdd1/
总用量 20M
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo5.log


[root@node4 ~]# ll -h /data/sdd1/
总用量 20M
-rw-r--r--. 2 root root 20M 12月 18 16:23 demo5.log

（5）查看分布式复制卷

[root@node1 ~]# ll -h /data/sde1/
总用量 160M
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo1.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo2.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo3.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo4.log


[root@node2 ~]# ll -h /data/sde1/
总用量 160M
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo1.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo2.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo3.log
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo4.log


[root@node3 ~]# ll -h /data/sde1/
总用量 40M
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo5.log


[root@node4 ~]# ll -h /data/sde1/
总用量 40M
-rw-r--r--. 2 root root 40M 12月 18 16:23 demo5.log
Yplayer001
关注
分布式文件系统--搭建MFS文件系统及配置
weixin_56993834的博客
07-10 396
一 安装mfs文件系统及初步搭建 1在server1上安装mfs 修改解析并且启动服务 2在server2上操作 安装chunkserver 在 server2上分区 修改解析 配置文件 挂在磁盘分区并且启动服务 3 在server3上的操作 安装chunkserver 修改配置文件 4在真机上的操作 安装客户端 修改配置文件 goal设置 5 在web上访...
GFS搭建
MSchendada的博客
11-11 547
GFS的搭建 一.基础环境 操作系统 系统IP 主机名 挂载磁盘 挂载目录 centos7.6 192.168.1.11 node1 /dev/sd{b-e}{3-6G} /[b-e][3-6] centos7.6 192.168.1.22 node2 /dev/sd{b-e}{3...
搭建GFS分布式文件系统
12-15
一、GlusterFS概述； 二、GlusterFS存储架构； 三、GlusterFS工作原理； 四、GlusterFS卷的类型； 五、案例：搭建Gluster分布式文件系统
GFS分布式文件系统的搭建
double_happy111的博客
04-03 638
GFS分布式文件系统的搭建 文章目录GFS分布式文件系统的搭建前言1.GFS的卷类型有哪些1.1分布式卷1.2条带卷1.3复制卷1.4分布式条带卷1.5分布式复制卷2.GFS部署2.1环境准备2.2添加磁盘格式化并挂载2.3防火墙和GFS集群设置3.client客户端的部署及测试gfs4.其他GFS常用命令 前言 GFS：由存储服务器（brick server）、客户端以及NFS/Samba存储网...
GFS 分布式文件系统简述与Gluster群集部署
weixin_47219725的博客
09-15 813
一、GFS 概述 1.1 Gluster简介 开源的分布式文件系统 由存储服务器、客户端以及NFS/Samba存储网管组成 无元数据服务器 GlusterFS特点 扩展性和高性能 高可用性 全局统一命名空间 弹性卷管理 基于标准协议 1.2 Gluster常用术语 Brick:GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如’SERVER:EXPORT’ Volume：卷 FUSE：内核文件系统，Filesystem Userspace是一个可加载的内
GFS分布式文件系统
a1231231231313的博客
11-04 401
文章目录GlusterFS简介GlusterFS 特点：模块化堆栈架构：GFS的工作流程：弹性 HASH 算法：一、GlusterFS的卷类型1.分布式卷分布式卷的特点2.条带卷条带卷的特点：3. 复制卷：复制卷的特点：4.分布式条带卷：5.分布式复制卷：二、实操1.配置GFS节点服务器2.客户端挂载测试测试各类型卷 GlusterFS简介 开源的分布式文件系统 由存储服务器、客户端以及NFS/Samba存储网关组成 无元数据服务器 GlusterFS 特点： ♢ 扩展性和高性能； ♢ 高可用性； ♢
GFS分布式文件系统概述以及集群部署
最新发布
m0_56754510的博客
08-01 1188
GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。它可以给大量的用户提供总体性能较高的服务。GlusterFS 是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。传统的分布式文件系统和GlusterFS的区别。
GFS分布式存储
weixin_67033761的博客
07-04 676
1
goGFS:Golang中Google文件系统的简单实现
03-11
goGFS goGFS是golang中Google文件系统（GFS）的简单实现。 它通过一小组廉价的廉价机器（1个主服务器，12个chunkserver和12个客户端）进行了测试。 提供容错功能。 特征 体系结构和一致性模型与纸张相同 系统交互原子记录追加（至少追加一次） 掌握 持久元数据 再复制 垃圾收集 陈旧检测 块服务器持久元数据 客户熟悉的文件系统界面 容错能力 去做 流水线数据流 快照 参考
分布式文件GFS 拿来吧你
记忆的博客
07-16 1072
GFS分布式文件系统一、GlusterFS 概述1. GlusterFS简介2. GlusterFS特 点扩展性和高性能3.GlusterFS术语4.模块化堆栈式架构5. GlusterFS 的工作流程6.弹性HASH算法7. GlusterFS的卷类型二、使用步骤 一、GlusterFS 概述 1. GlusterFS简介 GlusterFS是一个开源的分布式文件系统。 由存储服务器、客户端以及NFS/Samba 存储网关(可选，根据需要选择使用)组成。 没有元数据服务器组件，这有助于提升整个系统的性能
搭建 GFS 分布式文件系统-----实操
weixin_47151643的博客
09-14 1137
文章目录一、GlusterFS 简介：1.1：GlusterFS特点1.2：GlusterFS术语1.3：模块化堆栈构建二：GlusterFS工作原理2.1：Gluester工作流程2.1：弹性 HASH 算法：三：GlusterFS 的卷类型：3.1：分布式卷3.11：创建分布式卷3.2：条带卷3.21：创建条带卷3.3：复制卷3.31：创建复制卷3.4：分布式条带卷3.41：创建分布式条带卷3.5：分布式复制卷3.51：创建分布式复制卷四：GlusterFS部署实操4.1：配置四台节点服务器4.2：修.
GFS分布式文件系统（理论+实操）
m0_63761361的博客
05-02 766
目录 一、GlusterFS （一）、GFS概念 （二）、GlusterFS特点 （三）、常用术语 （四）、GFS的结构 （五）、弹性HASH算法 （六）、GlusterFS工作原理（工作流程） （七）、GFS卷类型 1、分布式卷： 2、条带卷 3、复制卷 4、分布式条带卷 二、GFS分布式文件系统部署步骤 1.创建分布式卷 验证文件分布效果 冗余测试​ 其他维护命令 一、GlusterFS （一）、GFS概念 Gluster File Syste...
一文看懂GFS如何搭建
白雪滑落树梢
11-17 1214
文章目录前言一、服务端配置1.环境2.修改主机名3.使用脚本对硬盘进行分区挂载4.添加四个节点域名解析5.安装本地源GFS6.创建卷1.创建分布式卷2.创建条带卷3.创建复制卷4.创建分布式条带卷5.创建分布式复制卷二、客户端配置总结 前言 一、服务端配置 1.环境 每台虚拟机需要添加4块5G磁盘 Node1节点：node1/192.168.3.11 磁盘：/dev/sdb1 挂载点：/data/sdb1 5GX4 /dev/sdc1 /data/sdc1
搭建gfs集群文件系统(Cman+RGManager+iSCSI+GFS2+cLVM)
weixin_34038293的博客
04-09 456
在上文中已经使用iSCSI搭建IP SAN存储网络，在此基础上，在构建GFS2集群文件系统前文链接：http://evanlinux.blog.51cto.com/7247558/1388690准备工作：已构建完成IP SAN网络IP地址系统target主机192.168.0.22CentOS 6.4 i386initiator主机192.168.0.23CentOS 6.4...
GFS分布式文件系统及其部署
m0_71931851的博客
11-16 759
GFS分布式文件系统及其部署
Hadoop分布式文件系统搭建与核心组件解析
HDFS是基于Google文件系统（GFS）理念设计的高可靠性和高可扩展性的分布式文件系统。它提供海量文件存储，是实现大数据处理的基础。 3. HDFS基本结构 HDFS的数据存储单位是Block，文件可以由多个Block组成，而一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值