StarRocks部署高可用 FE 集群

已于 2024-07-12 16:01:28 修改
阅读量668 收藏 12
点赞数 5
分类专栏： 数据库 文章标签： mpp starrocks
于 2024-07-12 14:26:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36743482/article/details/140301423
版权

一、准备工作

1.1 部署规划

这里我打算部署存算一体模式，三节点。即三个FE节点，三个BE节点。假设三台IP分别为：10.10.10.50、10.10.10.51、10.10.10.52
我将采用三台centos7.9进行部署，单台配置为128C 256G 3T。

1.2 服务器检查项

关闭防火墙（或者只需能确保集群间机器相关端口的正常访问即可）
安装有JDK

进行机器设置和配置检查：
运行以下脚本，进行环境检查

#!/bin/bash

##说明：
##1、该脚本为StarRocks部署环境检测脚本，用来检测StarRocks运行的必要条件及重要系统参数。
##2、本脚本适用于红帽系系统，Ubuntu系及Debian系请根据检测项自行验证部署环境。
##3、当前不再检测系统中的Java环境，StarGo或Manager会使用自带的OpenJDK8为StarRocks配置程序级的运行环境。
##4、检测通过的项会显示为绿色的success，未通过的项会用红色字体给出提示及临时调整命令（服务器重启会失效）。
##5、在部署前请务必根据提示调整环境，以避免后续安装或使用过程中出现不必要的问题。

function cpu_check(){
    echo ""
    echo "############################ CPU检查 #############################"
    cat /proc/cpuinfo | grep avx2 2>&1 >/dev/null
    if [ $? -ne 0 ];then
        echo -e "\033[31mStarRocks BE需要CPU支持AVX2指令集才可启动，请更换至符合要求的x86架构服务器\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function linuxversion_check(){
    echo ""
    echo "########################## Linux版本检查 ##########################"
    num_tmp=$(cat /etc/redhat-release | tr -cd "[0-9]")
    linux_version=${num_tmp:0:1}
    if [ $linux_version -ne 7 ];then
        echo -e "\033[31m若无特殊原因，建议您更换使用CentOS7部署StarRocks，该系统当前测试最为充分\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function glibc_check(){
    echo ""
    echo "########################## Glibc版本检查 ##########################"
    glibc_version=$(ldd --version | head -n 1 | tail -c 3)
    if [ $glibc_version -lt 17 ];then
        echo -e "\033[31mStarRocks BE要求glibc版本最低为2.17才可启动，请升级glibc或使用更高内核版本的系统\033[0m"
    elif [ $glibc_version -ge 37 ];then
        echo -e "\033[31m检测到较高的glibc版本，StarRocks BE或将无法启动，请更换或降级系统为CentOS7\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function swap_check(){
    echo ""
    echo "############################ Swap检查 ############################"
    swap_number=$(cat /proc/sys/vm/swappiness)
    if [ $swap_number -ne 0 ];then
        echo -e "\033[31m检查项1：使用swap分区可能影响查询性能，建议配置为不优先使用，临时配置命令：echo 0 | sudo tee /proc/sys/vm/swappiness\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
    swap_file=$(free -m | grep -i swap | awk '{print $2}')
    if [ $swap_file -ne 0 ];then
        echo -e "\033[31m检查项2：检查到swap分区未禁用，推荐禁用，临时禁用命令：swapoff -a\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function kernel_check(){
    echo ""
    echo "########################### 内核参数检查 ##########################"
    om_number=$(cat /proc/sys/vm/overcommit_memory)
    if [ $om_number -ne 1 ];then
        echo -e "\033[31m检查项1：推荐调整overcommit_memory=1，以允许内核分配所有的物理内存来保障程序稳定性，临时调整命令：echo 1 | sudo tee /proc/sys/vm/overcommit_memory\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
    mmap_number=$(cat /proc/sys/vm/max_map_count)
    if [ "$mmap_number" -lt 200000 ]; then
        echo -e "\033[31m检查项2：推荐调整max_map_count=262144，来调大进程可拥有的内存映射区域的最大数量以保障程序稳定性，临时调整命令：echo 262144 | sudo tee /proc/sys/vm/max_map_count\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function ulimit_files_check(){
    echo ""
    echo "####################### 进程最大打开文件数检查 ######################"
    ulimit_fs=$(ulimit -n)
    if [ $ulimit_fs -lt 65535 ];then
        echo -e "\033[31m句柄数限制过小可能导致服务异常退出，完整调整命令：ulimit -n 655350 && echo -e '* soft nofile 655350\\\n* hard nofile 655350' >> /etc/security/limits.conf\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function ulimit_process_check(){
    echo ""
    echo "####################### 用户最大可用进程数检查 ######################"
    ulimit_ps=$(ulimit -u)
    if [ $ulimit_ps -lt 65535 ];then
        echo -e "\033[31m进程数限制过小可能导致服务异常退出，完整调整命令：ulimit -u 655350 && echo -e '* soft nproc 655350\\\n* hard nproc 655350' >> /etc/security/limits.conf && sed -i 's/4096/655350/' /etc/security/limits.d/20-nproc.conf\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function fe_port_check(){
    echo ""
    echo "########################### FE端口检查 ###########################"
    # default port 8030,9010,9020,9030
    ports=$(ss -antpl | grep -E '8030|9010|9020|9030' | wc -l)
    if [ $ports -gt 0 ];then
        echo -e "\033[31mFE需用的默认端口被占用，请检查或在部署时调整端口，检查命令：ss -antpl | grep -E '8030|9010|9020|9030'\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function be_port_check(){
    echo ""
    echo "########################### BE端口检查 ###########################"
    # default port 9060,9050,8040,8060
    ports=$(ss -antpl | grep -E '9060|9050|8040|8060|9070' | wc -l)
    if [ $ports -gt 0 ];then
        echo -e "\033[31mBE需用的默认端口被占用，请检查或在部署时调整端口，检查命令：ss -antpl | grep -E '9060|9050|8040|8060|9070'\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function broker_port_check(){
    echo ""
    echo "######################### Broker端口检查 #########################"
    # default port 8000
    ports=$(ss -antpl | grep '8000' | wc -l)
    if [ $ports -gt 0 ];then
        echo -e "\033[31mBroker需用的默认端口被占用，请检查或在部署时调整端口，检查命令：ss -antpl | grep '8000'\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function firewalld_check(){
    echo ""
    echo "########################### 防火墙检查 ###########################"
    systemctl status firewalld | grep "running"  2>&1 >/dev/null
    if [ $? -ne 0 ];then
        echo -e "\033[32msuccess\033[0m"
    else
        echo -e "\033[31m系统防火墙为启用状态，为保证集群内部通信，建议关闭内网防火墙或开放端口，临时关闭命令：systemctl stop firewalld && systemctl disable firewalld\033[0m"
    fi
}

function tcp_abort_on_overflow_check(){
    echo ""
    echo "########################## TCP参数检查 ###########################"
    tcp_aoo=$(cat /proc/sys/net/ipv4/tcp_abort_on_overflow)
    if [ $tcp_aoo -eq 1 ];then
        echo -e "\033[32msuccess\033[0m"
    else
        echo -e "\033[31m推荐调整tcp_abort_on_overflow参数值为1，临时调整命令：echo 1 | sudo tee /proc/sys/net/ipv4/tcp_abort_on_overflow\033[0m"
    fi
}

function somaxconn_check(){
    echo ""
    echo "######################### Somaxconn检查 #########################"
    somaxconn_value=$(cat /proc/sys/net/core/somaxconn)
    if [ $somaxconn_value -ge 1024 ];then
        echo -e "\033[32msuccess\033[0m"
    else
        echo -e "\033[31m推荐调整somaxconn参数值为1024，临时调整命令：echo 1024 | sudo tee /proc/sys/net/core/somaxconn\033[0m"
    fi
}

function selinux_check(){
    echo ""
    echo "########################## SELinux检查 ###########################"
    selinux_value=$(getenforce)
    if [ $selinux_value != "Enforcing" ];then
        echo -e "\033[32msuccess\033[0m"    
    else
        echo -e "\033[31m建议关闭SELinux，临时关闭命令：setenforce 0\033[0m"
    fi
}

function hugepage_check(){
    echo ""
    echo "########################## Hugepage检查 ##########################"    
    enabled_value=$(cat /sys/kernel/mm/transparent_hugepage/enabled | cut -d '[' -f2 | cut -d ']' -f1)
    if [ $enabled_value == "never" ];then
        echo -e "\033[32msuccess\033[0m"
    else
        echo -e "\033[31m检查项1：推荐禁用透明大页，临时禁用命令：echo never > /sys/kernel/mm/transparent_hugepage/enabled\033[0m" 
    fi
    defrag_value=$(cat /sys/kernel/mm/transparent_hugepage/defrag | cut -d '[' -f2 | cut -d ']' -f1)
    if [ $defrag_value == "never" ];then
        echo -e "\033[32msuccess\033[0m"
    else
        echo -e "\033[31m检查项2：推荐禁用碎片整理，临时禁用命令：echo never > /sys/kernel/mm/transparent_hugepage/defrag\033[0m" 
    fi
}

function ntp_check(){
    echo ""
    echo "########################## 时钟同步检查 ##########################"
    rpm -qa | grep ntp 2>&1 >/dev/null
    if [ $? -ne 0 ];then
        echo -e "\033[31m未检测到ntp命令，StarRocks各FE节点间的时钟差大于5秒将无法启动，建议在部署前使用ntp对各节点进行时钟同步\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function zone_check(){
    echo ""
    echo "############################ 时区检查 ############################"
    timedatectl | grep Asia/Shanghai 2>&1 >/dev/null
    if [ $? -ne 0 ];then
        echo -e "\033[31m检测到操作系统未使用Asia/Shanghai时区，不恰当的时区设置可能影响集群数据导入导出，调整命令：timedatectl set-timezone Asia/Shanghai && clock -w\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function disk_check(){
    echo ""
    echo "########################## 磁盘容量检查 ##########################"
    # disk space > 80%
    n=0
    for var in `df -h | grep '^/dev/*' | awk '{print $5}' | sed 's/\([0-9]*\).*/\1/'`
    do
        if [ $var -gt 80 ];then
            echo -e "\033[31m检测到存在磁盘剩余容量不足20%的情况，请确认磁盘空间充足后再进行集群部署，检查命令：df -h\033[0m"
            n+=1
            break
        fi
    done
    if [ $n -eq 0 ];then
        echo -e "\033[32msuccess\033[0m"
    fi
}

function mem_check(){
    echo ""
    echo "########################## 内存大小检查 ##########################"
    mem_total=$(awk '($1 == "MemTotal:"){print $2/1048576}' /proc/meminfo)
    mem_int=$(printf "%.f" $mem_total)
    if [ $mem_int -le 16 ];then
        echo -e "\033[31m服务器内存较小，为保证集群性能和稳定性，生产环境的建议内存为32G+\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function tool_check(){
    echo ""
    echo "######################### Netstat命令检查 ########################"
    rpm -qa | grep net-tools 2>&1 >/dev/null
    if [ $? -ne 0 ];then
        echo -e "\033[31m未检测到netstat命令，StarGo当前需依赖netstat检测通信，否则无法正常使用。安装命令：yum -y install net-tools\033[0m"
    else
        echo -e "\033[32msuccess\033[0m"
    fi
}

function check(){
    cpu_check
    linuxversion_check
    glibc_check
    swap_check
    kernel_check
    ulimit_files_check
    ulimit_process_check
    fe_port_check
    be_port_check
    broker_port_check
    firewalld_check
    tcp_abort_on_overflow_check
    somaxconn_check
    selinux_check
    hugepage_check
    ntp_check
    zone_check
    disk_check
    mem_check
    tool_check
}

check

二、安装Starrocks

软件包下载：
https://www.starrocks.io/download/community
我这里下载的是最新稳定版本：
在这里插入图片描述
然后参考该官方文档进行部署即可：
https://docs.starrocks.io/zh/docs/3.2/deployment/deploy_manually/

这里需要重点补充的信息如下：
1、fe配置
每个服务器中，都要增加该项：

# store metadata, create it if it is not exist.
# Default value is ${STARROCKS_HOME}/meta
meta_dir = /opt/StarRocks-3.1.13/fe/meta  # 自己创建的元数据目录
priority_networks = 10.10.10.50 # 本机IP

2、be配置

# Default value is ${STARROCKS_HOME}/storage, you should create it by hand.
storage_root_path = /opt/StarRocks-3.1.13/be/bestorage # 自己创建的数据存储目录
priority_networks = 10.10.10.50 # 本机IP

3、第一次启动FE的follower节点的时候，要增加–helper

./fe/bin/start_fe.sh --helper 10.10.10.50:9010 --daemon	# foller后面的ip是fe leader的ip

用到的详细命令汇总：

# 1 在三台创建所需目录
mkdir -p /opt/StarRocks-3.1.13/fe/meta
mkdir -p /opt/StarRocks-3.1.13/be/bestorage

# 2 修改三台的配置文件
# 修改 fe/conf/fe.conf
meta_dir = /opt/StarRocks-3.1.13/fe/meta  # 自己创建的元数据目录
priority_networks = 10.10.10.50 # 本机IP
# 修改 be/conf/be.conf
storage_root_path = /opt/StarRocks-3.1.13/be/bestorage # 自己创建的数据存储目录
priority_networks = 10.10.10.50 # 本机IP

# 3 启动fe节点
./fe/bin/start_fe.sh --daemon # leader节点执行
./fe/bin/start_fe.sh --helper 10.10.10.50:9010 --daemon	# follower1节点执行
./fe/bin/start_fe.sh --helper 10.10.10.50:9010 --daemon # follower2节点执行
# 验证fe启动成功
cat fe/log/fe.log | grep thrift

# 4 启动be节点
./be/bin/start_be.sh --daemon # 3节点执行
# 验证be启动成功
cat be/log/be.INFO | grep heartbeat


# 5 登录第四台服务器，具有mysql，且可以访问leader
mysql -h 10.10.10.50 -P9030 -uroot # 用于
# 在mysql中执行以下语句：
# 增加fe follower节点
ALTER SYSTEM ADD FOLLOWER "10.10.10.51:9010";
ALTER SYSTEM ADD FOLLOWER "10.10.10.52:9010";
# 查看增加的结果：
SHOW PROC '/frontends'\G
# 增加be节点
ALTER SYSTEM ADD BACKEND "10.10.10.50:9050", "10.10.10.51:9050", "10.10.10.52:9050";
# 查看增加的结果：
SHOW PROC '/backends'\G

参考文档：
https://docs.starrocks.io/zh/docs/deployment/deploy_manually/

刘金宝_Arvin
关注
专栏目录
携程 x StarRocks：高效支持高并发查询，大幅降低人力和硬件成本
StarRocks的博客
10-08 811
携程是全球领先的一站式旅行平台，现有员工约30000人，公司旗下的平台可面向全球用户提供一套完整的旅行产品、 服务及差异化的旅行内容。携程大住宿部是国内最大的酒店分销电子商务平台，在全球拥有约63万家国内酒店和70万家国际酒店。携程大住宿数据智能平台中70%的实时数据场景已经接入StarRocks，查询响应速度平均在200ms左右，超过500ms的慢查询数大幅度减少，同时人力和硬件成本大大降低。后续会将剩余的实时场景和离线场景全部迁入StarRocks。 “ 作者：史文俊 携程大住宿数据智能部资深开发工
第1.5章：StarRocks部署--集群部署
wr_java的博客
03-31 472
StarRocks作为新一代MPP数据库，集群部署才能充分发挥其彪悍的查询性能。生产环境下我们也推荐进行集群化部署，本章内容我们就模拟生产环境下StarRocks集群部署。在中我们已经介绍了版本选择时的注意事项，这里我们以从StarRocks官网下载的1.19.3社区版为例进行部署，下载地址：StarRocks - 新一代极速全场景MPP数据库新一代极速全场景MPP数据库，速度提升100倍！
大数据最新MQ高可用相关设置，10年阿里开发架构师经验分享
2401_84181273的博客
05-15 431
2）ack=1，只要集群的首领副本收到消息，生产者就会收到一个来自服务器的成功响应。3）ack=all，只有当所有同步副本全部收到消息时，生产者才会收到一个来自 服务器的成功响应。
Starrocks多节点部署高可用集群
u012333203的博客
05-27 423
0017.S StarRocks小规模集群部署最佳实践(2/2) - 墨天轮
整合StarRocks主键表全部知识点
qq_18218071的博客
07-24 941
总结starrocks主键表全部知识点
大数据——StarRocks 实现高可用连接以及负载均衡（Keepalived+Haproxy服务高可用，outlook邮箱使用mailx报警）
caron的博客
11-04 3371
StarRocks 实现高可用连接以及负载均衡，使用Keepalived+Haproxy实现服务自身的高可用，同时监控StarRocks，使用mailx配置outlook邮箱完成vip漂移报警
StarRocks FE开发环境搭建
齐天大圣数据候的博客
10-08 1675
StarRocks FE开发环境（IDEA）搭建 前言 该文档基于starrocks官方提供的docker镜像，为大家提供在IDEA上进行FE的开发环境搭建，方便大家进行源码的阅读或者参与到starrocks的开发中。 编译 镜像地址 https://hub.docker.com/r/starrocks/dev-env 编译环境准备 系统： centos7.6 内存： 大于4G 磁盘空间： 大于30G CPU: 核数大于2core，编译时核数越多，相对会越快 编译步骤 1. 下载docker(已
StarRocks 2.0，新一年，新启航，新极速
记录点点滴滴
01-05 504
2022年，它来了。 2.0版本的 StarRocks，它也来了。 2021年刚刚过去，回望这一年间经历的林林总总，每一个亲身经历 StarRocks 发展的小伙伴们，心中都不免泛起涟漪： 2021年1月底，StarRocks 向量化1.0版本首次面市，记得当时还有些许小“激动”，新产品刚“呱呱坠地”，就具备了和全球最快开源系统不相上下的单表查询性能。最近一年，我们一直在致力于重新定义单表极速查询速度，在2.0版本中，StarRocks 创新性的实现了基于全局字典的低基数字符串查询优化，进行了大量 C
OLAP引擎之StarRocks
youziguo的专栏
08-12 984
StarRocks 是一款新兴的开源分布式实时分析型数据库，专为高性能、高并发的数据分析场景设计。它结合了传统数据仓库和大数据技术的优势，提供了强大的实时数据处理和分析能力。
部署startRocks集群
青春不流名
06-30 489
向集群中添加新的 Follower FE 节点时，您必须在首次启动新 FE 节点时为其分配一个 helper 节点（本质上是一个现有的 Follower FE 节点）以同步所有 FE 元数据信息。您可以通过在相应实例上运行以下命令来停止 StarRocks 集群。搭建成了集群模式，三个节点都要执行下面的命令。202上部署flink、201上部署mysql。1、先启动一个fe leader（201）201、202、203上执行。201、202、203上执行。2、启动所有be、cn。4、注册fe实现高可用。
2024年最新StarRocks实战——欢聚集团极速的数据分析能力_starrocks quota
pasehelpme的博客
05-03 916
在这种“既要又要还要”的诉求下，选型很困难。OLAP 常用的技术架构有预计算、MPP、索引。单一技术架构的引擎很难满足需求，因此我们把目标瞄向混合架构引擎：同时具有预计算、MPP 计算、支持索引的引擎。目前市面上这类引擎不多，比较成熟的有 Apache Doris 和 StarRocks。最后选择 StarRocks，原因是 StarRocks 的社区更加活跃，产品的背后还有一支大胆创新的强大技术团队，响应非常及时，我们对 StarRocks 的未来更有信心。
StarRocks理论介绍
默主归沙的博客
07-18 1669
Doris一样原理的StarRocks
大数据自动管理，24 小时服务无间断，StarRocks 如何做到？
huzechen的博客
03-31 368
互联网公司 A，以售卖在线广告来获得收入。这家公司想为广告主提供一个实时报表平台，为客户实时分析消费数据，作为广告主投放广告的决策基础。互联网公司 B，计划开发运营一款 APP。这家公司想对 APP 用户进行行为分析，分析影响用户转换率、留存率的因素。互联网公司 C，以电子商务为主营业务。这家公司想对订单数据进行分析、实时监测订单状态变更，以动态调整运营策略。业务属性不同...
Spring Boot实现多数据库动态连接与配置指南
最新发布
weixin_36019375的博客
09-01 1721
本文还有配套的精品资源，点击获取 简介：Spring Boot支持动态连接多个数据库，简化了分布式系统或多数据源环境下的复杂配置。本文将展示如何通过配置文件、自定义数据源配置类和Spring Profile实现多数据库的动态切换。还包括如何初始化数据库以及在代码中动态选择数据源的技术细节。 1. Spring Boot单数据源配置基础 1.1 Spring ...
StarRocks——滴滴的极速多维分析实践
爱吃辣条的博客
03-12 1208
StarRocks——滴滴的极速多维分析实践
StartRocks的fe节点加入
keepandkeep的博客
02-04 401
StarRocks集群搭建，fe节点加入
了解StarRocks
hellozhxy的博客
02-14 1039
在以往的案例中，我们经过分区分桶的操作，加上 StarRocks 的水平扩容的能力，可 以支撑万级别的并发量。目前大部分的 MPP 计算 引擎都是使用 RBO 的模式，也就意味着我们在写 SQL 的时候，要手动的进行 SQL 的优 化，比如说大表与小表谁在前谁在后，WHERE 条件中那些谓词选择性高我们要放在前面， 在比如说，我们在开发中，可能会按照业务的逻辑写一些子查询，在优化的时候，我们可能 需要将这些子查询改写为反业务逻辑的多表关联操作。随着越来越多的企业都使用数据驱动决策，数据的价值也被逐步释放。
StarRocks 【新一代MPP数据库】
功不唐捐，玉汝于成
05-12 3115
StarRocks 基本使用
StarRocks 简介
热门推荐
司马懿的西山居
02-10 1万+
简介 StarRocks（原 Apache Doris）是一款支持对海量数据进行快速分析的MPP（Massively Parallel Processing）大规模并行处理数据库 定位 StarRocks 的定位是面向在线报表和分析的数据仓库系统。可以对标于商业的MPP 数据仓库系统，比如Greenplum、Vertica、Teradata 等。甚至在查询性能上远超当代最快的开源数据库 clickhouse 整体架构 https://www.tqwba.com/x_d/jishu/275756.html
starrocks重启集群
06-05
StarRocks是一款开源的分布式列式存储分析引擎，重启集群是指停止StarRocks服务并重新启动，一般需要以下步骤： 1. 停止StarRocks服务：使用命令`./bin/stop_all.sh`或者`systemctl stop starrocks`停止所有StarRocks服务。 2. 关闭StarRocks进程：使用命令`killall -9 doris_fe doris_be brpc`强制关闭所有StarRocks进程。 3. 清理元数据：使用命令`./bin/delete_all.sh`清理所有元数据。 4. 启动集群：使用命令`./bin/start_all.sh`或者`systemctl start starrocks`启动集群。 在重启集群之前，建议备份重要数据，以防数据丢失。同时，需要确保集群中所有节点都已经停止服务并关闭进程，否则可能会导致集群无法正常启动。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值