Hadoop中HA模式配置（HDFS HA&YARN HA）

最新推荐文章于 2021-04-27 19:17:54 发布
最新推荐文章于 2021-04-27 19:17:54 发布
阅读量727 收藏 5
点赞数
分类专栏： Hadoop Zookeeper Shell 文章标签： zookeeper hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TomAndersen/article/details/104524763
版权
Hadoop 同时被 3 个专栏收录
20 篇文章 0 订阅
订阅专栏
Shell
15 篇文章 0 订阅
订阅专栏
Zookeeper
7 篇文章 0 订阅
订阅专栏

1.前言

  • 操作系统：CentOS 7
  • Hadoop版本：2.7.7
  • Zookeeper版本：3.4.14
  • Java版本：1.8.0_221
  • Hadoop HA模式分为HDFS HA（NameNode HA）和YARN HA（ResourceManager HA）两个部分
  • 在本次配置中同时配置了HDFS HA和YARN HA下的自动故障转移Automatic Failover，以及历史服务器JobHistoryServer
  • 所有配置均在同一用户下操作

2.集群规划

hadoop101hadoop102hadoop103
NameNode√√
DataNode√√√
ResourceManager√√
NodeManager√√√
JobHistoryServer√
JournalNode√√√
DFSZKFailoverController√√
Zookeeper√√√

3.具体配置

a) core-site.xml

<configuration>

    <!--指定HDFS文件系统访问地址,将其设置为NameNode的地址-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://dfsHAcluster</value>
    </property>

    <!--指定Hadoop运行时产生文件的存储目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/HA/hadoop-2.7.7/tmp</value>
    </property>

    <!--指定JournalNode在本地存储edits文件的绝对路径-->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>${hadoop.tmp.dir}/dfs/journalnode/localdata</value>
    </property>

    <!--为HDFS(NameNode) HA模式实现自动故障转移,设置Zookeeper服务器-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>zkServer1:2181,zkServer2:2181,zkServer3:2181</value>
    </property>    

</configuration>

b) hdfs-site.xml

<configuration>

    <!--指定HDFS副本因子数-->
    <!--由于实验主机磁盘空间不足,本次实验中设置为1,一般需要设置为3-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <!--以下是关于HDFS(NameNode) HA模式的配置-->
    <!--设置集群的nameservice name-->
    <property>
        <name>dfs.nameservices</name>
        <value>dfsHAcluster</value>
    </property>

    <!--设置HDFS HA Cluster的节点-->
    <property>
        <name>dfs.ha.namenodes.dfsHAcluster</name>
        <value>nn1,nn2</value>
    </property>

    <!--关于HDFS HA集群nn1节点的配置-->
    <!--设置HDFS HA集群nn1节点的RPC地址-->
    <property>
        <name>dfs.namenode.rpc-address.dfsHAcluster.nn1</name>
        <value>hadoop101:8020</value>
    </property>

    <!--设置HDFS HA集群nn1节点的Web UI地址-->
    <property>
        <name>dfs.namenode.http-address.dfsHAcluster.nn1</name>
        <value>hadoop101:50070</value>
    </property>

        <!--指定HDFS HA集群dfsHAcluster中nn1节点上存储name table(fsimage)文件的本地路径-->
    <property>
        <name>dfs.namenode.name.dir.dfsHAcluster.nn1</name>
        <value>${hadoop.tmp.dir}/dfs/dfsHAcluster/nn1/fsimage</value>
    </property>

    <!--指定HDFS HA集群dfsHAcluster中nn1节点上存储transaction(edits)文件的本地路径-->
    <property>
        <name>dfs.namenode.edits.dir.dfsHAcluster.nn1</name>
        <value>${hadoop.tmp.dir}/dfs/dfsHAcluster/nn1/edits</value>
    </property>

    <!--指定HDFS HA集群dfsHAcluster中nn2节点上存储Blocks文件的本地路径-->
    <property>
        <name>dfs.datanode.data.dir.dfsHAcluster.nn1</name>
        <value>${hadoop.tmp.dir}/dfs/dfsHAcluster/nn1/data</value>
    </property>

    <!--关于HDFS HA集群nn2节点的配置-->
    <!--设置HDFS HA集群nn2节点的RPC地址-->
    <property>
        <name>dfs.namenode.rpc-address.dfsHAcluster.nn2</name>
        <value>hadoop102:8020</value>
    </property>

    <!--设置HDFS HA集群nn2节点的Web UI地址-->
    <property>
        <name>dfs.namenode.http-address.dfsHAcluster.nn2</name>
        <value>hadoop102:50070</value>
    </property>

    <!--指定HDFS HA集群dfsHAcluster中nn2节点上存储name table(fsimage)文件的本地路径-->
    <property>
        <name>dfs.namenode.name.dir.dfsHAcluster.nn2</name>
        <value>${hadoop.tmp.dir}/dfs/dfsHAcluster/nn2/fsimage</value>
    </property>

    <!--指定HDFS HA集群dfsHAcluster中nn2节点上存储transaction(edits)文件的本地路径-->
    <property>
        <name>dfs.namenode.edits.dir.dfsHAcluster.nn2</name>
        <value>${hadoop.tmp.dir}/dfs/dfsHAcluster/nn2/edits</value>
    </property>

    <!--指定HDFS HA集群dfsHAcluster中nn2节点上存储Blocks文件的本地路径-->
    <property>
        <name>dfs.datanode.data.dir.dfsHAcluster.nn2</name>
        <value>${hadoop.tmp.dir}/dfs/dfsHAcluster/nn2/data</value>
    </property>


    <!--设置Active NameNode向StandBy NameNode共享edits文件的URI-->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://zkServer1:8485;zkServer2:8485;zkServer3:8485/dfsHAcluster</value>
    </property>

    <!--设置HDFS用于联络Active NameNode的Java class-->
    <property>
        <name>dfs.client.failover.proxy.provider.dfsHAcluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <!--设置当进行故障转移failover时通过何种方式隔离Active NameNode-->
    <!--本次设置成使用ssh隔离-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>

    <!--设置ssh隔离就必须设置成当前用户ssh对其他NameNode免密登录,
    同时需要在此提供私钥路径-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/TomAndersen/.ssh/id_rsa</value>
    </property>

    <!--设置ssh连接超时时间-->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>

    <!--以下通过Zookeeper设置自动故障转移automatic failover-->
    <!--设置开启故障自动转移-->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>

</configuration>

c) mapred-site.xml

<configuration>

    <!--指定MR程序运行框架,设置为YARN上运行,默认是在本地运行-->
    <!--默认值:local-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <!--指定历史服务器JobHistoryServer进程间通信IPC地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop103:10020</value>
    </property>

    <!--指定历史服务器JobHistoryServer的Web UI地址-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop103:19888</value>
    </property>
    
</configuration>

d) yarn-site.xml

<configuration>

    <!--Site specific YARN configuration properties-->

    <!--设置Reducer获取数据的方式-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!--此参数指的是nodemanager的可用内存大小,单位为Mb,设置为主机内存大小-->
    <!--本次实验主机内存大小为2GB,此参数根据各机器分配的物理内存大小设置,若大于物理内存值会影响程序运行效率-->
    <!--默认值:8192-->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
    </property>

    <!--开启日志聚集功能-->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <!--日志聚集位置,默认为HDFS文件系统的/tmp/logs路径下,默认格式为/tmp/logs/${user}/logs-->
    <!--默认值:/tmp/logs-->
    <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/tmp/logs</value>
    </property>

    <!--聚集日志保留时间设置7天-->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

    <!--以下是关于ResourceMangaer HA模式的配置-->
    <!--设置开启YARN HA模式-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

    <!--设置ResourceManager Cluster ID即RM集群名-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>RMcluster</value>
    </property>

    <!--设置RM集群中的RM节点ID-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <!--以下是关于RM集群中rm1节点的配置-->
    <!--指定RM集群中rm1节点的ip地址-->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop102</value>
    </property>

    <!--指定RM集群中rm1节点的Web UI地址-->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hadoop102:8088</value>
    </property>

    <!--以下是关于RM集群中rm2节点的配置-->
    <!--指定RM集群中rm2节点的ip地址-->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop101</value>
    </property>

    <!--指定RM集群中rm2节点的Web UI地址-->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hadoop101:8088</value>
    </property>

    <!--指定RM集群使用的Zookeeper集群所提供的Client端口-->
    <!--注意与Zookeeper集群中设置的客户端端口一致-->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>zkServer1:2181,zkServer2:2181,zkServer3:2181</value>
    </property>

    <!--启用RM自动恢复-->
    <!--需同时设置yarn.resourcemanager.store.class-->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>

    <!--指定resourcemanager的状态信息存储在zookeeper集群的工具类-->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>

</configuration>

4.启动HA集群

a) 首次启动集群

注意：

  • 首次启动一个新的Hadoop HA集群时需要对NameNodes进行格式化，若已经格式化则直接正常启动即可

  • 若想重新格式化NameNodes，需要将所有NameNodes节点上hadoop中的tmp和logs文件夹都删除，同时最好也删除Zookeeper集群上的所有hadoop-ha相关节点

格式化NameNodes步骤：
(1) 启动Zookeeper集群
./bin/zkServer.sh
(2) 在HDFS集群中所有节点上启动JournalNode
./sbin/hadoop-daemon.sh start journalnode
(3) 在首个NameNode节点上格式化NameNode（dfsHAcluster.nn1）
./bin/hdfs namenode -format
(4) 在此节点上格式化zkNode即创建zkNode节点（dfsHAcluster.nn1）
./bin/hdfs zkfc -formatZK
(5) 在此节点上启动首个NameNode进程（dfsHAcluster.nn1）
./sbin/hadoop-daemon.sh start namenode
(6) 同时启动DFSZKFailoverController、DataNode进程（dfsHAcluster.nn1）
./sbin/hadoop-daemon.sh start zkfc
./sbin/hadoop-daemon.sh start datanode
(7) 在其他所有NameNode节点上进行同步格式化
./bin/hdfs namenode -bootstrapStandby
(8) 同时在其他所有NameNode节点上启动NameNode、DFSZKFailoverController、DataNode进程
./sbin/hadoop-daemon.sh start namenode
./sbin/hadoop-daemon.sh start zkfc
./sbin/hadoop-daemon.sh start datanode
(9) 启动RM集群：在YARN集群中所有RM节点上启动RM进程，第二个启动的RM为Active（可以不启动）
./sbin/yarn-daemon.sh start resourcemanager
(10) 启动NM集群：在YARN集群中所有节点上启动NM进程（可以不启动）
./sbin/yarn-daemon.sh start nodemanager
(11) 在历史服务器节点上，启动JobHistoryServer进程（可以不启动）
./sbin/mr-jobhistory-daemon.sh
正常情况下此时集群已经正常运行，各节点具体进程情况如下所示：
[tomandersen@hadoop101 hadoop-2.7.7]$ call-cluster.sh jps
----------hadoop103----------
32688 Jps
23553 QuorumPeerMain
32418 JobHistoryServer
32291 JournalNode
32520 NodeManager
32186 DataNode
----------hadoop102----------
36963 JournalNode
37669 Jps
36775 NameNode
37209 ResourceManager
36858 DataNode
25612 QuorumPeerMain
37308 NodeManager
37102 DFSZKFailoverController
----------hadoop101----------
40129 NameNode
40451 JournalNode
41075 Jps
40788 ResourceManager
40246 DataNode
40891 NodeManager
40653 DFSZKFailoverController
28798 QuorumPeerMain

----------execute "jps" in cluster takes 4 seconds----------

[tomandersen@hadoop101 hadoop-2.7.7]$ 
[tomandersen@hadoop101 hadoop-2.7.7]$
可以通过haadmin和rmadmin命令查看和更改HA节点状态，集群中只有一个NN和RM处于Active，其余皆为StandBy：
(1) haadmin 获取HDFS HA模式中指定NN节点的状态，如：
bin/hdfs haadmin -getServiceState nn1
(2) haadmin 强制修改HDFS HA模式中指定NN节点的状态，如：
bin/hdfs haadmin -transitionToActive --forcemanual nn1
(3) rmadmin 获取YARN HA模式中指定节点的状态，如：
bin/yarn rmadmin -getServiceState rm1
(4) rmadmin 强制修改YARN HA模式中指定节点的状态，如：
bin/yarn rmadmin -transitionToStandby --forcemanual rm2
若要关闭HDFS集群，直接使用对应命令关闭即可：
./sbin/stop-dfs.sh
若要关闭YARN集群，除了在其中的一个RM节点上执行关闭YARN命令之外还需要在其他节点上手动关闭RM进程：
关闭YARN集群：
./sbin/stop-yarn.sh
在其他节点上关闭RM：
./sbin/yarn-daemon.sh stop resourcemanager

b) 正常启动集群

启动HDFS HA集群：
./sbin/start-dfs.sh
启动YARN HA集群：
./sbin/start-yarn.sh
同时并在其他RM节点上手动启动RM进程进而开启RM HA，第二个启动的RM为Active：
./sbin/yarn-daemon.sh start resourcemanager

End~

TomAndersen
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop——Yarn的HA模式搭建以及WordCount实验
Stay Hungry Stay Foolish
02-28 449
Yarn和HDFS是两个概念，所以你完全可以在启动着Hadoop集群的时候，搭建Yarn并启动 之前在没有Yarn时我们的角色分布是这样的 搭建Yarn之后会新增RM和NM角色，我们将RM分配在node03和04上做主备RM，与node01和02的NN错开。NM必须与DN一一对应，所以在node02~04上搭建NM 搭建之后的角色应该如下 NN实现主备切换时需要一个ZKFC辅助，在Yarn中却...
Hadoop-hdfs-ha 配置-搭建
伟红-long-term
07-25 186
需要软件：jdk、hadoop、zookeeper Hadoop-hdfs完全分布式环境搭建，已写jdk、hadoop配置 一、zokeeper集群搭建，四台虚拟机：node1,node2,node3,node4 将zookeeper.tar.gz上传到node2、node3、node4 解压：tar -zxf zookeeper-3.4.6.tar.gz -C /opt 配置环境变量 ）ex...
hdfs HA 与 yarn HA
qq_40337206的博客
08-25 201
1. hdfs HA 架构流程 HA中的角色 ZK:协调系统切换NameNode ZKFC:自动故障转移进程，负责与ZK、NameNode通讯，当检测到NameNode(active)挂掉时，复制删除注册在ZK上的临时znode，NameNode(standby)会通过ZKFC在ZK上注册新的临时znode。 NameNode(active)：活着的NameNode NameNode(standb...
Hadoop 集群之HDFS HA、Yarn HA
Deng0_huakai
11-25 346
部署集群的原因 如果我们采用单点的伪分布式部署，那么NN节点挂了，就不能对外提供服务。集群的话，存在两个NN节点，一个挂了，另外一个从standby模式直接切换到active状态，实时对外提供服务（读写）。在生产上，避免出现对外服务中断的情况，所以会考虑采用集群部署。 HDFS HA (High availability) 单点式伪分布： NN SNN secondary 1小时checkpoin...
HDFS和YARN HA部署
liweihope的博客
04-10 579
任意时刻只能有一个nn（active状态）去写，nn standby 读 jn部署台数是奇数2n+1，active nn把编辑日志写道jn，要求至少 n/2+1台jn是好的。 如果有3台jn，三台都是好的，那么会写三台，如果有一台是坏的，那么满足3+1/2>=2台，会写两台 jn、zk不能部署太多，写的话也要耗很多时间，投票时间会越来越长，影响状态的切换。 standby nn读jn，随机找...
hadoop部署高可用(hdfs ha、yarn ha)
fly0512的博客
12-12 200
基础部署https://blog.csdn.net/fly0512/article/details/100863889 停止集群，安装zk （略） 一、配置hdfs ha ： hdfs ha 1、hadoop-env.sh export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMEN...
Hadoop环境搭建之HA模式
a1786742005的博客
03-12 997
一、Hadoop HA 概述 1、HA(High Available)，即高可用(不能中断服务)。 2、实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制：HDFS 的HA 和 YARN 的 HA。 3、Hadoop2.0 之前，在 HDFS 集群中 NameNode 存在单点故障(SPOF)。 4、NameNode 主要在以下两个方面影响HDFS集群 (1) Na...
HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx
06-20
【YARN HA配置】是指在YARN(Yet Another Resource Negotiator)中实现高可用性，以防止ResourceManager (RM) 单点故障导致整个YARN服务中断。ResourceManager是YARN的核心组件，负责调度和管理集群资源。YARN HA通过...
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
Hadoop HA 主要指的是 HDFS（Hadoop Distributed File System）和 YARN（Yet Another Resource Negotiator）的高可用性。本教程将重点讲解如何部署 Hadoop HA 集群以及如何在 YARN HA 环境下测试 MapReduce 作业。 ...
hadoop的独立模式、伪分布模式、完全分布式、HA配置文件
12-22
在Hadoop生态系统中，了解和配置不同的运行模式是至关重要的，这些模式包括独立模式、伪分布模式、完全分布式模式以及高可用性（HA）配置。接下来，我们将详细探讨这些模式及其相关的配置文件。 1. **独立模式**： ...
Hadoop CDH5.5.0 配置（Hdfs/Yarn HA）
12-18
在CDH5.5.0中，HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource Negotiator）是两个核心组件，它们在高可用性（HA）模式下的配置尤为重要。HDFS HA允许数据节点和名称节点的冗余，以确保即使单...
HadoopHA集群配置文件
11-28
本文将深入探讨Hadoop HA（高可用性）集群的配置文件，包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`、`yarn-site.xml`以及`slaves`文件，这些都是确保Hadoop集群稳定运行的基础。 1. `core-site.xml`:...
hadoop10-HdfsYarn的HA配置
yangqian1794的博客
04-27 216
HDFS-HA集群配置 步骤1：创建ha文件夹，修改文件所有者所属组（前提杀死hdfs集群） sudo mkdir -p /opt/ha sudo chown -R atguigu:atguigu /opt/ha 步骤2：准备配置的hadoop集群 cp /opt/module/hadoop-3.1.3 /opt/ha rm -rf /data /logs 步骤3：修改配置文件 core-siet.xml <configuration> <!-- 指定NameNode的地址 --&g
HDFS-HA高可用 | Yarn-HA
weixin_30654583的博客
02-13 247
HDFS-HA HA（High Available），即高可用（7*24小时不中断服务） 单点故障即有一台机器挂了导致全部都挂了；HA就是解决单点故障，就是针对NameNode； 主Active：读写、从standby只读；所依赖的服务都必须是高可用的； 两种解决共享空间的方案：NFS、QJM（主流的） 奇数台机器；QJM跟zookeeper（数据全局一致；半数以上...
Hadoop高级01-HDFS HA、Yarn HA集群部署
Binbinhb的博客
03-11 423
一、HDFS 1、NN and SNN NN 1）NameNode主要功能：接受客户端的读写服务。 2）NameNode保存metadata（元数据，除了文件内容之外的都是元数据）信息包括： ***文件owership和permissions；文件包含哪些块 ***Block保存在哪个DataNode（由DataNode启动时上报） 3）NameNode的metadate信息在启动后...
HDFS-HA与yarn-HA配置
不停
10-15 421
# 一 配置 ## 1. 在opt目录下创建一个ha文件夹，改权限 ```javascript sudo mkdir ha sudo chown atguigu:atguigu /opt/ha ``` ## 2. 将/opt/module/下的 hadoop-3.5.7拷贝到/opt/ha目录下 ```javascript cp -r /opt/module/hadoop-3.5.7 /opt/ha/ ``` ## 3. 修改环境变量 `vim /etc/profile.d/my_env.sh` ```ja
HDFS和YARN的HA架构剖析和对比
边看边学
08-18 201
Hadoop官网地址：hadoop.apache.org Spark官网地址：spark.apache.org 学习过程中，一般使用伪分布式，使用集群目的是为了学习企业环境中的HA。 HDFS：NN、SNN(checkpoint)、DN 这是单点模式，NN挂了就不能对外提供服务，SNN只是冷备。所以需要两个NN做HA，一个active一个standby，active的NN对外服务，standby的...
HDFS HA和Yarn HA的区别
qq_33405134的博客
08-24 184
HDFS HA中的ZKFC是作为一个独立守护进程存在的 Yarn HA中的ZKFC只是作为RM的一个线程存在 HDFS HA中active nn 和standby nn需要同jn共享数据，而Yarn HA是active RM向zk的/RMstore存储作业信息并不是随时共享的。 HDFS HA中的 DataNode节点会同时和active nn和standby nn两个节点通信发送状态 Yarn ...
ssh连接服务器时出现Permission denied (publickey,gssapi-keyex,gssapi-with-mic)
热门推荐
TomAndersen的博客
03-15 2万+
前言 SSH工具连接服务器的身份验证方式有两种，一种是基于口令的身份验证，一种是基于密钥的身份认证。当你直接使用SSH工具连接服务器时，SSH首先会在~/.ssh/路径下按照默认的密钥（私钥）文件名（如id_rsa）查找对应的密钥并尝试使用本地的私钥去配对服务器端的公钥，如果配对成功则不需要进行密码验证（这也是通常实现SSH免密登录的原理），如果配对失败则尝试使用密码验证的方式进行身份验证。但...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值