Ceph实战入门系列（一）——三节点Ceph集群的安装与部署

最新推荐文章于 2024-10-08 09:30:10 发布
最新推荐文章于 2024-10-08 09:30:10 发布
阅读量1.9k 收藏 8
点赞数
分类专栏： linux编程

配置环境

环境说明

  • 在Win7下安装vmware软件，用CentOS-7.2创建一台centos7.2-mini虚拟机，安装完后把内存改为512MB就足够了，如果是用来实践的话。
  • 基于上面的虚拟机链接克隆3台虚拟机

修改hostname

# 分别在3个host上执行
[root@localhost ~]# hostnamectl set-hostname ceph6
[root@localhost ~]# hostnamectl set-hostname ceph7
[root@localhost ~]# hostnamectl set-hostname ceph8
  • 1
  • 2
  • 3
  • 4

配置解析

# 全体都有,并测试网络是否连通
[root@ceph8 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.103.139 ceph6
192.168.103.140 ceph7
192.168.103.138 ceph8
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

配置防火墙启用端口

# 全体都有
[root@ceph6 ~]# firewall-cmd --zone=public --add-port=6789/tcp --permanent 
success
[root@ceph6 ~]# firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent 
success
[root@ceph6 ~]# firewall-cmd --reload
success
[root@ceph6 ~]# firewall-cmd --zone=public --list-all 
public (default, active)
  interfaces: eno16777736
  sources: 
  services: dhcpv6-client ssh
  ports: 6789/tcp 6800-7100/tcp
  masquerade: no
  forward-ports: 
  icmp-blocks: 
  rich rules:
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

禁用SELINUX

# 全体都有
[root@ceph6 ~]# setenforce 0
[root@ceph6 ~]# vim /etc/selinux/config 
[root@ceph6 ~]# cat /etc/selinux/config | grep disabled
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

配置网络

# 全体都有；公司内部开发网需要单独设置
[root@ceph6 ~]# cat /etc/yum.conf 
[main]
cachedir=/var/cache/yum/$basearch/$releasever
keepcache=0
debuglevel=2
logfile=/var/log/yum.log
exactarch=1
obsoletes=1
gpgcheck=1
plugins=1
installonly_limit=5
bugtracker_url=http://bugs.centos.org/set_project.php?project_id=23&ref=http://bugs.centos.org/bug_report_page.php?category=yum
distroverpkg=centos-release
Proxy=http://dev-proxy.oa.com:8080/

[root@ceph6 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.14.87.100 dev-proxy.oa.com
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21

设置全局代理

# 全体都有；公司网络限制，需要设置全局代理，需要重启主机（poweroff命令，再开机）
http_proxy=dev-proxy.oa.com:8080
https_proxy=dev-proxy.oa.com:8080
export http_proxy https_proxy
  • 1
  • 2
  • 3
  • 4

安装配置ntp服务

# 全体都有， 10.14.0.131是公司的ntp server
[root@ceph6 ~]# cat /etc/ntp.conf | grep server | grep -v '#'
server 10.14.0.131
  • 1
  • 2
  • 3
  • 4

wget下载rpm；代理

# wget代理下载rpm，发现不能install，不知道原因
[root@ceph6 ~]# wget http://dev-proxy.oa.com:8080/ http://download.ceph.com/rpm-giant/el7/noarch/ceph-release-1-0.el7.noarch.rpm -e http_proxy=dev-proxy.oa.com:8080/
  • 1
  • 2

Ceph安装与部署

安装部署工具

[root@ceph6 ~]# yum install -y ceph-deploy
  • 1
  • 2

初始化monitor

# 在ceph6上操作
[root@ceph6 ~]# mkdir /etc/ceph
[root@ceph6 ~]# cd /etc/ceph/
[root@ceph6 ceph]# ceph-deploy new ceph6
[root@ceph6 ceph]# ls
ceph.conf  ceph.log  ceph.mon.keyring
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

免密码登录

# 在ceph6上操作
[root@ceph6 ~]# ssh-keygen 
[root@ceph6 ~]# ssh-copy-id root@ceph7
[root@ceph6 ~]# ssh-copy-id root@ceph8
  • 1
  • 2
  • 3
  • 4

远程安装部署

# 网络问题;通过第一步的设置全局代理并未解决
[root@ceph6 ~]# ceph-deploy install ceph6 ceph7 ceph8
# 省略
[ceph6][DEBUG ] 
[ceph6][DEBUG ] Complete!
[ceph6][DEBUG ] Configure Yum priorities to include obsoletes
[ceph6][WARNIN] check_obsoletes has been enabled for Yum priorities plugin
[ceph6][INFO  ] Running command: rpm --import https://download.ceph.com/keys/release.asc
[ceph6][WARNIN] curl: (7) Failed to connect to 2607:f298:6050:51f3:f816:3eff:fe71:9135: Network is unreachable
[ceph6][WARNIN] error: https://download.ceph.com/keys/release.asc: import read failed(2).
[ceph6][ERROR ] RuntimeError: command returned non-zero exit status: 1
[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: rpm --import https://download.ceph.com/keys/release.asc
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

独立安装部署

[root@ceph7 ~]# ceph-deploy install ceph7
[root@ceph8 ~]# ceph-deploy install ceph8
  • 1
  • 2

搭建集群

创建OSD

# 列出ceph6上所有的可用磁盘
[root@ceph6 ceph]# ceph-deploy disk list ceph6
# disk zap 子命令删除现有分区表和磁盘内容
[root@ceph6 ceph]# ceph-deploy disk zap ceph6:sdb ceph6:sdc ceph6:sdd
[root@ceph6 ceph]# ceph-deploy disk zap ceph7:sdb ceph7:sdc ceph7:sdd
[root@ceph6 ceph]# ceph-deploy disk zap ceph8:sdb ceph8:sdc ceph8:sdd
# osd create 子命令首先准备磁盘（用xfs文件系统格式化磁盘），然后激活磁盘的第一、第二个分区，作为数据分区和日志分区
[root@ceph6 ceph]# ceph-deploy osd create ceph6:sdb ceph6:sdc ceph6:sdd
[root@ceph6 ceph]# ceph-deploy osd create ceph7:sdb ceph7:sdc ceph7:sdd
[root@ceph6 ceph]# ceph-deploy osd create ceph8:sdb ceph8:sdc ceph8:sdd
# 检查ceph的状态
[root@ceph6 ceph]# ceph -s
    cluster 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
     health HEALTH_WARN
            too few PGs per OSD (21 < min 30)
     monmap e1: 1 mons at {ceph6=192.168.103.139:6789/0}
            election epoch 3, quorum 0 ceph6
     osdmap e43: 9 osds: 9 up, 9 in
            flags sortbitwise
      pgmap v95: 64 pgs, 1 pools, 0 bytes data, 0 objects
            307 MB used, 134 GB / 134 GB avail
                  64 active+clean
# 解决HEALTH_WARN
[root@ceph6 ceph]# ceph osd pool set rbd pg_num 128
[root@ceph6 ceph]# ceph osd pool set rbd pg_num 128
[root@ceph6 ceph]# ceph -s
    cluster 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
     health HEALTH_OK
     monmap e1: 1 mons at {ceph6=192.168.103.139:6789/0}
            election epoch 3, quorum 0 ceph6
     osdmap e48: 9 osds: 9 up, 9 in
            flags sortbitwise
      pgmap v130: 128 pgs, 1 pools, 0 bytes data, 0 objects
            309 MB used, 134 GB / 134 GB avail
                 128 active+clean
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36

部署奇数个数的monitor

# 将公共网络地址添加到配置文件
[root@ceph6 ceph]# cat /etc/ceph/ceph.conf 
[global]
fsid = 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
mon_initial_members = ceph6,ceph7,ceph8
mon_host = 192.168.103.139,192.168.103.140,192.168.103.138
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
public network = 192.168.103.0/24

# 使用ceph-deploy命令在ceph7和ceph8上创建一个monitor
[root@ceph6 ceph]# ceph-deploy mon create ceph7 --overwrite-conf
[root@ceph6 ceph]# ceph-deploy --overwrite-conf mon create ceph8
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

实践使用ceph集群

检查Ceph的状态

[root@ceph6 ceph]# ceph -s
    cluster 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
     health HEALTH_OK
     monmap e3: 3 mons at {ceph6=192.168.103.139:6789/0,ceph7=192.168.103.140:6789/0,ceph8=192.168.103.138:6789/0}
            election epoch 8, quorum 0,1,2 ceph8,ceph6,ceph7
     osdmap e48: 9 osds: 9 up, 9 in
            flags sortbitwise
      pgmap v130: 128 pgs, 1 pools, 0 bytes data, 0 objects
            309 MB used, 134 GB / 134 GB avail
                 128 active+clean
[root@ceph6 ceph]# ceph status
    cluster 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
     health HEALTH_OK
     monmap e3: 3 mons at {ceph6=192.168.103.139:6789/0,ceph7=192.168.103.140:6789/0,ceph8=192.168.103.138:6789/0}
            election epoch 8, quorum 0,1,2 ceph8,ceph6,ceph7
     osdmap e48: 9 osds: 9 up, 9 in
            flags sortbitwise
      pgmap v130: 128 pgs, 1 pools, 0 bytes data, 0 objects
            309 MB used, 134 GB / 134 GB avail
                 128 active+clean
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21

观察集群健康状态

[root@ceph6 ceph]# ceph -w
    cluster 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
     health HEALTH_OK
     monmap e3: 3 mons at {ceph6=192.168.103.139:6789/0,ceph7=192.168.103.140:6789/0,ceph8=192.168.103.138:6789/0}
            election epoch 8, quorum 0,1,2 ceph8,ceph6,ceph7
     osdmap e48: 9 osds: 9 up, 9 in
            flags sortbitwise
      pgmap v130: 128 pgs, 1 pools, 0 bytes data, 0 objects
            309 MB used, 134 GB / 134 GB avail
                 128 active+clean

2016-11-09 10:01:39.675477 mon.0 [INF] from='client.4174 :/0' entity='client.admin' cmd=[{"prefix": "auth get-or-create", "entity": "client.bootstrap-mds", "caps": ["mon", "allow profile bootstrap-mds"]}]: dispatch
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

检查Ceph monitor仲裁状态

[root@ceph6 ceph]# ceph quorum_status --format json-pretty

{
    "election_epoch": 8,
    "quorum": [
        0,
        1,
        2
    ],
    "quorum_names": [
        "ceph8",
        "ceph6",
        "ceph7"
    ],
    "quorum_leader_name": "ceph8",
    "monmap": {
        "epoch": 3,
        "fsid": "8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5",
        "modified": "2016-11-09 10:01:31.732730",
        "created": "2016-11-08 22:36:48.791105",
        "mons": [
            {
                "rank": 0,
                "name": "ceph8",
                "addr": "192.168.103.138:6789\/0"
            },
            {
                "rank": 1,
                "name": "ceph6",
                "addr": "192.168.103.139:6789\/0"
            },
            {
                "rank": 2,
                "name": "ceph7",
                "addr": "192.168.103.140:6789\/0"
            }
        ]
    }
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40

导出Ceph monitor信息

[root@ceph6 ceph]# ceph mon dump
dumped monmap epoch 3
epoch 3
fsid 8ea4fa79-3b6b-4de3-8cfb-a0922d6827c5
last_changed 2016-11-09 10:01:31.732730
created 2016-11-08 22:36:48.791105
0: 192.168.103.138:6789/0 mon.ceph8
1: 192.168.103.139:6789/0 mon.ceph6
2: 192.168.103.140:6789/0 mon.ceph7
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

检查集群使用状态

[root@ceph6 ceph]# ceph df
GLOBAL:
    SIZE     AVAIL     RAW USED     %RAW USED 
    134G      134G         309M          0.22 
POOLS:
    NAME     ID     USED     %USED     MAX AVAIL     OBJECTS 
    rbd      0         0         0        45942M           0
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

检查Ceph monitor、OSD和PG（配置组）状态

[root@ceph6 ceph]# ceph mon stat
e3: 3 mons at {ceph6=192.168.103.139:6789/0,ceph7=192.168.103.140:6789/0,ceph8=192.168.103.138:6789/0}, election epoch 8, quorum 0,1,2 ceph8,ceph6,ceph7
[root@ceph6 ceph]# ceph osd stat
     osdmap e48: 9 osds: 9 up, 9 in
            flags sortbitwise
[root@ceph6 ceph]# ceph pg stat
v130: 128 pgs: 128 active+clean; 0 bytes data, 309 MB used, 134 GB / 134 GB avail
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

列表PG

[root@ceph6 ceph]# ceph pg dump
  • 1

列表Ceph存储池

[root@ceph6 ceph]# ceph osd lspools
0 rbd,
  • 1
  • 2
  • 3

检查OSD的CRUSH map

[root@ceph6 ceph]# ceph osd tree
ID WEIGHT  TYPE NAME      UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.13129 root default                                     
-2 0.04376     host ceph6                                   
 0 0.01459         osd.0       up  1.00000          1.00000 
 1 0.01459         osd.1       up  1.00000          1.00000 
 2 0.01459         osd.2       up  1.00000          1.00000 
-3 0.04376     host ceph7                                   
 3 0.01459         osd.3       up  1.00000          1.00000 
 4 0.01459         osd.4       up  1.00000          1.00000 
 5 0.01459         osd.5       up  1.00000          1.00000 
-4 0.04376     host ceph8                                   
 6 0.01459         osd.6       up  1.00000          1.00000 
 7 0.01459         osd.7       up  1.00000          1.00000 
 8 0.01459         osd.8       up  1.00000          1.00000
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

列表集群的认证密钥

[root@ceph6 ceph]# ceph auth list
hxpjava1
关注
专栏目录
云原生之深入解析分布式存储系统Ceph的环境部署和实战操作
╰つ栺尖篴夢ゞ
07-13 1398
Ceph 是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)，Ceph 在存储的时候充分利用存储节点的计算能力，在存储每一个数据时都会通过计算得出该数据的位置，尽量的分布均衡。目前，Ceph 也是 OpenStack 的主流后端存储。
Ceph分布式存储系列（二）：ceph-deploy方式部署三节点ceph集群
97运维的博客
10-21 2919
ceph-deploy方式自选ceph版本部署三节点ceph集群； 配置mgr-dashboard web端
Ceph集群
weixin_45544598的博客
08-20 258
准备四台KVM虚拟机，其三台作为存储集群节点，一台安装为客户端，实现如下功能： 创建1台客户端虚拟机 创建3台存储集群虚拟机 配置主机名、IP地址、YUM源 修改所有主机的主机名 配置无密码SSH连接 配置NTP时间同步 创建虚拟机磁盘 1.2 方案 使用4台虚拟机，1台客户端、3台存储集群服务器，拓扑结构如图-1所示。 图-1 所有主机的主机名及对应的IP地址如表-1所示。 注意：所有主机基本...
第38讲：Ceph分布式存储集群部署
江晓龙的博客
10-08 1425
初始化Monitor组件需要先安装Monitor组件包，然后利用ceph-deploy工具根据生成的集群配置文件，初始化各个节点中的Monitor组件，形成集群模式，初始化完Monitor组件会在/etc/ceph目录中成一些配置文件和一些key文件，并启动Monitor组件。ceph-deploy：一个快速部署集群的工具，ceph-deploy不再维护，Ceph采用的是Nautilus版本，如果操作系统是CentOS8那么将不支持ceph-deploy方式的搭建。
Ceph集群部署文档（4节点）
qq_35957624的博客
11-29 4854
Ceph集群部署文档（4节点） 一、    背景 Ceph是一个分布式存储，可以提供对象存储、块存储和文件存储，其中对象存储和块存储可以很好地和各大云平台集成。一个Ceph集群中有Monitor节点、MDS节点（可选，用于文件存储）、至少两个OSD守护进程。  Ceph OSD：OSD守护进程，用于存储数据、处理数据拷贝、恢复、回滚、均衡，并通过心跳程序向Monitor提供部分监控信息。一个
ceph集群搭建
s1440350254的博客
02-07 2127
ceph集群搭建 文章目录ceph集群搭建cephceph的构成搭建ceph集群实现块存储客户端使用块设备 ceph ceph被称作面向未来的存储 中文手册： https://access.redhat.com/documentation/zh-cn/red_hat_ceph_storage/5/html/architecture_guide/index http://docs.ceph.org.cn/ ceph可以实现的存储方式： 块存储：提供像普通硬盘一样的存储，为使用者提供“硬盘”
centos7（三节点）搭建ceph环境
liuweilong07的专栏
09-03 751
1、环境准备 1.1、修改主机名 172.31.21.135 执行 hostnamectl set-hostname ceph1 172.31.21.185 执行 hostnamectl set-hostname ceph2 172.31.21.167 执行 hostnamectl set-hostname ceph3 1.2、配置阿里源 rm -f /etc/yum.repos.d/* wge...
ceph的组件和功能以及部署三个节点的ceph集群
qq_49096000的博客
11-09 2585
一个Ceph的存储集群，至少两个Ceph OSD来实现 active + clean健康状态和有效的保存数据的双副本（默认情况下是双副本，可以调整）。Ceph Monitor: Ceph的监控器，主要功能是维护整个集群健康状态，提供一致性的决策，包含了Monitor map、OSD map、PG（Placement Group）map和CRUSH map。OSD (事实上是其他OSD的deamon) 通信以维护更新系统状态，与其他OSD共同完成数据的存储和维护， 与client通信完成各种数。
cephadm部署Ceph分布式存储集群详解与实战
最新发布
10-13
适用人群：具备系统配置经验并有兴趣研究Ceph集群搭建的云计算运维工程师，尤其是对高可靠分布式存储感兴趣的技术人士。 使用场景及目标：本方法适用于希望提高自己数据中心容灾能力和数据持久度的人士，同时它还...
ceph安装部署使用文档
12-24
在完成以上步骤后，你已经成功部署了一个基本的Ceph集群。然而，Ceph的部署并不止于此，后续还需要安装 OSD（对象存储设备）以提供实际的存储服务，以及配置RBD（块设备）和CephFS（文件系统）供应用使用。此外，...
部署Ceph分布式存储集群
12-15
部署Ceph分布式存储集群需要一系列的配置步骤，包括环境准备、节点规划、软件安装、集群初始化、集群扩展、数据存储配置等。由于部署过程具体而复杂，在此不再详述具体步骤，但总体上可以遵循Ceph官方文档和社区提供...
ceph集群部署.docx
10-09
### ceph三节点集群部署知识点解析 #### 一、Ceph简介与应用场景 ...以上步骤涵盖了从基础环境配置到使用`ceph-deploy`创建Ceph集群的整个过程，为搭建一个稳定的Ceph三节点集群提供了详细指导。
ceph集群
weixin_43776646的博客
03-26 1698
文章目录一、ceph部署一、环境准备二、ceph-deploy方式部署1、环境准备（三个集群节点一起执行）2、配置YUM（三个集群节点一起执行）3、安装4、ceph.conf 一、ceph部署 一、环境准备 备注：local需要修改 localhost IP ceph01 10.10.10.121 ceph02 10.10.10.122 ceph03 10.10.10.123 ceph04 10.10.10.124 Python3.6.5(3.7及以上的存在库问题，暂时不清楚
手动部署 Ceph 三节点实践环境
烟云的计算
04-23 3983
目录 文章目录目录部署拓扑基础系统环境 部署拓扑 ceph-node1：MON、OSD、ceph-admin sda：系统盘 sdb：OSD1 sdc：OSD2 sdd：OSD3 ceph-node2：MON、OSD sda：系统盘 sdb：OSD1 sdc：OSD2 sdd：OSD3 ceph-node2：MON、OSD sda：系统盘 sdb：OSD1 sdc：OSD2 sdd：OS...
Ceph 多节点集群部署
liushaobo的专栏
07-15 4716
Ceph简介 Ceph是一个开源的 PB 级分布式文件系统，它有着优秀的性能、可靠性和可扩展性。Ceph 独一无二地用统一的系统提供了对象、块、和文件存储功能。Ceph 的强大足以改变贵公司的 IT 基础架构、和管理海量数据的能力。Ceph 可提供极大的伸缩性——供成千用户访问 PB 乃至 EB 级的数据。 Ceph 节点以普通硬件和智能守护进程作为支撑点， Ceph 存储集群组织起了大量节点，
Ceph 多节点quick部署
u010685850的专栏
12-22 1464
ceph 多节节点的快速部署，源自ceph官方文档和自己的实践
Ceph三节点集群部署：环境配置与yum源设置
本篇文档主要介绍了如何在三节点环境中部署Ceph对象存储集群，Ceph 是一个开源的分布式存储系统，特别适合于提供大规模、高性能和高可用的对象存储服务。以下是详细的部署步骤： 1. **基础环境配置**： - **设置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值