SO_REUSEPORT 之 TCP负载均衡验证

已于 2024-05-22 19:55:59 修改
阅读量360 收藏
点赞数 1
分类专栏： Linux Linux内核 文章标签： tcp/ip 负载均衡 服务器
于 2024-05-21 11:33:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/just_lion/article/details/139087804
版权

首先启动两个tcp server， 代码里开启 SO_REUSEPORT
 

[my_test@localhost test]$ ./tcp_server_reuseport &
[1] 1864
[my_test@localhost test]$ Server listening on port 8888

[my_test@localhost test]$ ./tcp_server_reuseport &
[2] 1865
[my_test@localhost test]$ Server listening on port 8888

[my_test@localhost test]$ ps -ef|grep tcp_server_reuseport
my_test         1864    1443  0 23:11 pts/0    00:00:00 ./tcp_server_reuseport
my_test         1865    1443  0 23:11 pts/0    00:00:00 ./tcp_server_reuseport

启动10条客户端连接：

[my_test@localhost test]$ ./tcp_client_reuseport
Message sent
Server response: Welcome to the server! Server PID: 1865

Message sent
Server response: Welcome to the server! Server PID: 1864

Message sent
Server response: Welcome to the server! Server PID: 1865

Message sent
Server response: Welcome to the server! Server PID: 1864

Message sent
Server response: Welcome to the server! Server PID: 1864

Message sent
Server response: Welcome to the server! Server PID: 1865

Message sent
Server response: Welcome to the server! Server PID: 1865

Message sent
Server response: Welcome to the server! Server PID: 1865

Message sent
Server response: Welcome to the server! Server PID: 1864

Message sent
Server response: Welcome to the server! Server PID: 1864

从回复的server 进程id 可见，负载均衡做的很好。

追踪内核调用链（内核版本5.10.216  x86_64）：

在server端收到client的SYN连接请求时会触发 __inet_lookup_listener -> inet_lhash2_lookup -> lookup_reuseport -> reuseport_select_sock 通过哈希选择一个Listen Socket来处理这个连接请求。

(gdb) b reuseport_select_sock
Breakpoint 1 at 0xffffffff8199ac80: file net/core/sock_reuseport.c, line 277.
(gdb) c
Continuing.
[New Thread 2061]
[Switching to Thread 2061]

Thread 293 hit Breakpoint 1, reuseport_select_sock (sk=sk@entry=0xffff888038c90000, hash=317205834, skb=skb@entry=0xffff88800a90dce0,
    hdr_len=hdr_len@entry=40) at net/core/sock_reuseport.c:277
277     net/core/sock_reuseport.c: No such file or directory.
(gdb) bt
#0  reuseport_select_sock (sk=sk@entry=0xffff888038c90000, hash=317205834, skb=skb@entry=0xffff88800a90dce0, hdr_len=hdr_len@entry=40)
    at net/core/sock_reuseport.c:277
#1  0xffffffff81a03ff8 in lookup_reuseport (hnum=8888, daddr=0, sport=21715, saddr=251789322, doff=40, skb=0xffff88800a90dce0,
    sk=0xffff888038c90000, net=0xffffffff82a1ac40 <init_net>) at net/ipv4/inet_hashtables.c:265
#2  lookup_reuseport (hnum=8888, daddr=0, sport=21715, saddr=251789322, doff=40, skb=0xffff88800a90dce0, sk=0xffff888038c90000,
    net=0xffffffff82a1ac40 <init_net>) at net/ipv4/inet_hashtables.c:255
#3  inet_lhash2_lookup (net=net@entry=0xffffffff82a1ac40 <init_net>, ilb2=<optimized out>, skb=skb@entry=0xffff88800a90dce0,
    doff=doff@entry=40, saddr=saddr@entry=251789322, sport=sport@entry=21715, daddr=0, hnum=8888, dif=2, sdif=0)
    at net/ipv4/inet_hashtables.c:293
#4  0xffffffff81a042f3 in __inet_lookup_listener (net=net@entry=0xffffffff82a1ac40 <init_net>,
    hashinfo=hashinfo@entry=0xffffffff832a69c0 <tcp_hashinfo>, skb=skb@entry=0xffff88800a90dce0, doff=doff@entry=40,
    saddr=saddr@entry=251789322, sport=sport@entry=21715, daddr=<optimized out>, hnum=8888, dif=2, sdif=0)
    at net/ipv4/inet_hashtables.c:361
#5  0xffffffff81a25978 in __inet_lookup (hashinfo=0xffffffff832a69c0 <tcp_hashinfo>, sdif=0, refcounted=<synthetic pointer>, dif=2,
    dport=<optimized out>, daddr=251789322, sport=<optimized out>, saddr=251789322, doff=<optimized out>, skb=0xffff88800a90dce0,
    net=0xffffffff82a1ac40 <init_net>) at ./include/net/inet_hashtables.h:343
#6  __inet_lookup_skb (hashinfo=0xffffffff832a69c0 <tcp_hashinfo>, sdif=0, refcounted=<synthetic pointer>, dport=<optimized out>,
    sport=<optimized out>, doff=<optimized out>, skb=0xffff88800a90dce0) at ./include/net/inet_hashtables.h:379
#7  tcp_v4_rcv (skb=0xffff88800a90dce0) at net/ipv4/tcp_ipv4.c:1984
#8  0xffffffff819f922b in ip_protocol_deliver_rcu (net=0xffffffff82a1ac40 <init_net>, skb=0xffff88800a90dce0,
    protocol=<optimized out>) at net/ipv4/ip_input.c:204
#9  0xffffffff819f93ef in ip_local_deliver_finish (net=<optimized out>, sk=<optimized out>, skb=<optimized out>)
    at ./include/linux/skbuff.h:2533
#10 0xffffffff819f94fa in NF_HOOK (sk=0x0 <fixed_percpu_data>, pf=2 '\002', hook=1, in=<optimized out>, out=0x0 <fixed_percpu_data>,
    okfn=0xffffffff819f93b0 <ip_local_deliver_finish>, skb=0xffff88800a90dce0, net=0xffffffff82a1ac40 <init_net>)
    at ./include/linux/netfilter.h:296
#11 NF_HOOK (pf=2 '\002', sk=0x0 <fixed_percpu_data>, out=0x0 <fixed_percpu_data>, okfn=0xffffffff819f93b0 <ip_local_deliver_finish>,
    in=<optimized out>, skb=0xffff88800a90dce0, net=0xffffffff82a1ac40 <init_net>, hook=1) at ./include/linux/netfilter.h:290
#12 ip_local_deliver (skb=0xffff88800a90dce0) at net/ipv4/ip_input.c:252
#13 0xffffffff819f95e3 in NF_HOOK (sk=0x0 <fixed_percpu_data>, pf=2 '\002', hook=0, in=0xffff88800391b000,
    out=0x0 <fixed_percpu_data>, okfn=0xffffffff819f8c40 <ip_rcv_finish>, skb=0xffff88800a90dce0, net=0xffffffff82a1ac40 <init_net>)
    at ./include/linux/netfilter.h:296
#14 NF_HOOK (pf=2 '\002', sk=0x0 <fixed_percpu_data>, out=0x0 <fixed_percpu_data>, okfn=0xffffffff819f8c40 <ip_rcv_finish>,
--Type <RET> for more, q to quit, c to continue without paging--
    in=0xffff88800391b000, skb=0xffff88800a90dce0, net=0xffffffff82a1ac40 <init_net>, hook=0) at ./include/linux/netfilter.h:290
#15 ip_rcv (skb=0xffff88800a90dce0, dev=0xffff88800391b000, pt=<optimized out>, orig_dev=<optimized out>) at net/ipv4/ip_input.c:551
#16 0xffffffff819714a4 in __netif_receive_skb_one_core (skb=<optimized out>, pfmemalloc=<optimized out>) at net/core/dev.c:5375
#17 0xffffffff819716e9 in process_backlog (napi=0xffff88807dc2e3d0, quota=64) at net/core/dev.c:6396
#18 0xffffffff81972fce in napi_poll (repoll=0xffffc90000003f60, n=0xffff88807dc2e3d0) at net/core/dev.c:6847
#19 net_rx_action (h=<optimized out>) at net/core/dev.c:6917
#20 0xffffffff820000b7 in __do_softirq () at kernel/softirq.c:298
#21 0xffffffff81e0106f in asm_call_on_stack () at arch/x86/entry/entry_64.S:801
#22 0xffffffff81022372 in __run_on_irqstack (func=<optimized out>) at ./arch/x86/include/asm/irq_stack.h:26
#23 run_on_irqstack_cond (regs=0x0 <fixed_percpu_data>, func=<optimized out>) at ./arch/x86/include/asm/irq_stack.h:77
#24 do_softirq_own_stack () at arch/x86/kernel/irq_64.c:77
#25 0xffffffff8106c7aa in do_softirq () at kernel/softirq.c:343
#26 0xffffffff8106c7fa in do_softirq () at ./arch/x86/include/asm/preempt.h:26
#27 __local_bh_enable_ip (ip=ip@entry=18446744071589316362, cnt=cnt@entry=512) at kernel/softirq.c:195
#28 0xffffffff819fc71b in local_bh_enable () at ./include/linux/bottom_half.h:32
#29 rcu_read_unlock_bh () at ./include/linux/rcupdate.h:806
#30 ip_finish_output2 (net=<optimized out>, sk=<optimized out>, skb=<optimized out>) at net/ipv4/ip_output.c:238
#31 0xffffffff819feee8 in ip_finish_output (skb=0xffff88800a90dce0, sk=0xffff888038c92bc0, net=0xffffffff82a1ac40 <init_net>)
    at net/ipv4/ip_output.c:325
#32 NF_HOOK_COND (pf=2 '\002', hook=4, okfn=0xffffffff819fd670 <ip_finish_output>, cond=<optimized out>, out=<optimized out>,
    in=<optimized out>, skb=0xffff88800a90dce0, sk=0xffff888038c92bc0, net=0xffffffff82a1ac40 <init_net>)
    at ./include/linux/netfilter.h:285
#33 ip_output (net=0xffffffff82a1ac40 <init_net>, sk=0xffff888038c92bc0, skb=0xffff88800a90dce0) at net/ipv4/ip_output.c:439
#34 0xffffffff819fe982 in __ip_queue_xmit (sk=0xffff888038c92bc0, skb=0xffff88800a90dce0, fl=0xffff888038c92f20, tos=<optimized out>)
    at net/ipv4/ip_output.c:540
#35 0xffffffff819febbc in ip_queue_xmit (sk=<optimized out>, skb=<optimized out>, fl=<optimized out>) at ./include/net/inet_sock.h:302
#36 0xffffffff81a1bef6 in __tcp_transmit_skb (sk=sk@entry=0xffff888038c92bc0, skb=0xffff88800a90dce0, skb@entry=0xffff88800a90dc00,
    clone_it=clone_it@entry=1, gfp_mask=<optimized out>, rcv_nxt=<optimized out>) at net/ipv4/tcp_output.c:1407
#37 0xffffffff81a1c8ed in tcp_transmit_skb (gfp_mask=<optimized out>, clone_it=1, skb=0xffff88800a90dc00, sk=0xffff888038c92bc0)
    at ./include/linux/tcp.h:439
#38 tcp_connect (sk=sk@entry=0xffff888038c92bc0) at net/ipv4/tcp_output.c:3888
#39 0xffffffff81a22c90 in tcp_v4_connect (sk=0xffff888038c92bc0, uaddr=0xffffc90000d43e88, addr_len=<optimized out>)
    at net/ipv4/tcp_ipv4.c:314
--Type <RET> for more, q to quit, c to continue without paging--
#40 0xffffffff81a3d87c in __inet_stream_connect (sock=sock@entry=0xffff88803652f000, uaddr=0x12e82d4a,
    uaddr@entry=0xffffc90000d43e88, addr_len=177265888, addr_len@entry=16, flags=40, flags@entry=2, is_sendmsg=21715,
    is_sendmsg@entry=0) at net/ipv4/af_inet.c:666
#41 0xffffffff81a3db41 in inet_stream_connect (sock=0xffff88803652f000, uaddr=0xffffc90000d43e88, addr_len=16, flags=2)
    at net/ipv4/af_inet.c:730
#42 0xffffffff8194bdc5 in __sys_connect (fd=<optimized out>, uservaddr=0x7ffe8421f910, addrlen=16) at net/socket.c:1882
#43 0xffffffff8194be01 in __do_sys_connect (addrlen=<optimized out>, uservaddr=<optimized out>, fd=<optimized out>)
    at net/socket.c:1892
#44 __se_sys_connect (addrlen=<optimized out>, uservaddr=<optimized out>, fd=<optimized out>) at net/socket.c:1889
#45 __x64_sys_connect (regs=<optimized out>) at net/socket.c:1889
#46 0xffffffff81c38090 in do_syscall_64 (nr=<optimized out>, regs=0xffffc90000d43f58) at arch/x86/entry/common.c:46
#47 0xffffffff81e0011f in entry_SYSCALL_64 () at arch/x86/entry/entry_64.S:125
#48 0x0000000000000000 in ?? ()

具体代码如下：

 server端演示代码：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <sys/types.h>

#define PORT 8888
#define MAX_PENDING_CONNECTIONS 10

int main() {
    int server_fd, new_socket;
    struct sockaddr_in address;
    int opt = 1;
    int addrlen = sizeof(address);

    // 创建套接字
    if ((server_fd = socket(AF_INET, SOCK_STREAM, 0)) == 0) {
        perror("socket failed");
        exit(EXIT_FAILURE);
    }

    // 设置套接字选项
    if (setsockopt(server_fd, SOL_SOCKET, SO_REUSEPORT, &opt, sizeof(opt))) {
        perror("setsockopt");
        exit(EXIT_FAILURE);
    }

    address.sin_family = AF_INET;
    address.sin_addr.s_addr = INADDR_ANY;
    address.sin_port = htons(PORT);

    // 将套接字绑定到指定的地址和端口
    if (bind(server_fd, (struct sockaddr *)&address, sizeof(address))<0) {
        perror("bind failed");
        exit(EXIT_FAILURE);
    }

    // 开始监听连接
    if (listen(server_fd, MAX_PENDING_CONNECTIONS) < 0) {
        perror("listen");
        exit(EXIT_FAILURE);
    }

    printf("Server listening on port %d\n", PORT);

    while(1) {
        // 接受新连接
        if ((new_socket = accept(server_fd, (struct sockaddr *)&address, (socklen_t*)&addrlen))<0) {
            perror("accept");
            exit(EXIT_FAILURE);
        }
        
        printf("New connection from %s:%d\n", inet_ntoa(address.sin_addr), ntohs(address.sin_port));
        
        // 向客户端发送消息，包含当前进程ID
        char welcome_message[100];
        int pid = getpid(); // 获取当前进程的 ID
        sprintf(welcome_message, "Welcome to the server! Server PID: %d\n", pid);
        send(new_socket, welcome_message, strlen(welcome_message), 0);
        
        // 关闭与客户端的连接
        close(new_socket);
    }

    return 0;
}

客户端演示代码：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <sys/socket.h>

#define PORT 8888
#define SERVER_IP "10.0.2.15" // 服务器 IP 地址
#define MESSAGE "Hello from client"

int main() {
    int sock = 0;
    struct sockaddr_in serv_addr;
    char message[1024] = {0};
    char buffer[1024] = {0};

    int i = 0;
    while (i++ < 10) {
        // 创建套接字
        if ((sock = socket(AF_INET, SOCK_STREAM, 0)) < 0) {
            perror("socket creation error");
            exit(EXIT_FAILURE);
        }

        serv_addr.sin_family = AF_INET;
        serv_addr.sin_port = htons(PORT);

        if(inet_pton(AF_INET, SERVER_IP, &serv_addr.sin_addr) <= 0) {
            perror("invalid address / address not supported");
            exit(EXIT_FAILURE);
        }
        // 连接到服务器
        if (connect(sock, (struct sockaddr *)&serv_addr, sizeof(serv_addr)) < 0) {
            perror("connection failed");
            exit(EXIT_FAILURE);
        }

        // 向服务器发送消息
        send(sock, MESSAGE, strlen(MESSAGE), 0);
        printf("Message sent\n");

        // 接收服务器的响应
        if (recv(sock, buffer, sizeof(buffer), 0) < 0) {
            perror("recv failed");
            exit(EXIT_FAILURE);
        }

        printf("Server response: %s\n", buffer);

        // 关闭套接字
        close(sock);
    }
    return 0;
}

taoyuanforrest
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
jetty-so_reuseport-sample
06-03
4. **测试代码**：可能有JUnit或其他测试框架的测试用例，用于验证SO_REUSEPORT功能的正确性和性能。 5. **文档**：可能包含README文件或其他文档，解释项目的用途、如何运行和测试，以及可能遇到的问题和解决方案...
go_reuseport：将SO_REUSEPORT带入您的Go服务器
02-04
GO_REUSEPORT GO_REUSEPORT有点expirement创建net.Listener支持套接字选项。 目前，支持Darwin和Linux（3.9版以上）系统。 如果您要测试其他系统并将结果告诉我，我将很高兴。 上的 。 例 package main import ( ...
Linux 4.6内核对TCP REUSEPORT的优化
热门推荐
Netfilter
05-26 2万+
繁忙了一整天，下班回家总会有些许轻松，这是肯定的。时间不等人，只要有剩余的时间，就想来点自己喜欢的东西。下班的班车上，用手机那令人遗憾的屏幕目睹了Linux 4.6的一些新特性，让我感兴趣的有两点，第一是关于reuseport的，这也是本文要阐释的，另外一个是关于KCM(Kernel Connection Multiplexor)的，而这个是我本周末计划要写的内容，这些都是回忆，且都是我本身经历过
教你使用 SO_REUSEPORT 套接字选项提升服务性能
youzhangjing_的博客
11-22 849
Linux 网络栈中有一个相对较新的特性——SO_REUSEPORT 套接字选项，可以使用它来提升你的服务性能。图 1: 上面的服务是使用并行监听器来避免请求连接瓶颈，而下面的服务只使用一个监听器来接收连接概要HAProxy 和 NGINX 是少数几个使用 Linux 网络栈中 TCP 的 SO_REUSEPORT 套接字选项[1]的应用程序。这个选项最初是在 4.4 BSD 中引入的，帮助在现在大型多核系统中实现高性能服务。
多线程使用SO_REUSEPORT来实现多个socket监听同一个端口
怀公子的博客
12-21 2490
  在十几年前的 FreeBSD 中就存在 SO_REUSEPORT 参数来实现多个 socket 监听同一个端口，来提升服务器的负载，在 Linux 3.9 开始也引入了这个功能，下面就看一下例子。   #include &lt;unistd.h&gt; #include &lt;stdlib.h&gt; #include &lt;string.h&gt; #include &lt;std...
SO_REUSEPORT正解
惜兰blog
08-07 1294
SO_REUSEPORT正解 最关键的就是多线程负载均衡，多个套接字可以在同一端口上，多个线程可以在各自的套接字上接受自己的数据。 Linux 3.9 加入了 SO_REUSEPORT 选项，可以提高 UDP 和 TCP server 的伸缩性，Linux 4.5/4.6 分别进一步改进了 UDP 和 TCP 的 SO_REUSEPORT 实现。本文以 UDP 的实现为例来讲解，TCP 与之类似。 UDP 协议的主要数据结构是两张 hash 表，指向 UDP 协议控制块 struct sock。其中 has
go_reuseport, 将SO_REUSEPORT带到你.zip
09-18
go_reuseport, 将SO_REUSEPORT带到你 GO_REUSEPORT GO_REUSEPORT 是一个小 expirement，用于创建支持 SO_REUSEPORT 套接字选项的net.Listener 。目前，Darwin和 Linux ( 从 3.9 ) 系统
详谈套接字中SO_REUSEPORT和SO_REUSEADDR的区别
09-20
下面小编就为大家分享一篇详谈套接字中SO_REUSEPORT和SO_REUSEADDR的区别，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
关于Linux UDP/TCP reuseport 二三事
Netfilter
05-26 2万+
聊到reuseport，大致要从四年前说起。 OpenVPN-以往的故事 当时要优化OpenVPN的并发性能，了解到socket有一个reuseport特性，于是非常兴奋，本着拿来主义的想法，无非就是在OpenVPN的源码里加一个setsockopt吧…我们当时基于Linux 2.6.32开发，无奈并没有实现这个特性，后来的版本也只是实现了reuseport热备份模式，并没有实现负载均衡模...
TCP实现之：TCP三次握手
qq_17045267的博客
06-16 1730
TCP实现之：TCP三次握手 前言 关于TCP三次握手的原理和过程咱就不讲了哈，感兴趣的可以参考一下我的另一篇文档：TCP原理之：TCP数据传输，这里就简单分析一下内核对于TCP三次握手以及fastopen和syn_cookie等机制的实现。 一、常规TCP建链 1.1 基本原理 TCP连接的建立过程如下图所示： 首先，客户端调用connect系统调用进行建链的发起，此时内核会创建一个套接口，发送SYN报文，并将其置为SYN_SEND状态； 服务端收到SYN报文后，会创建一个struct request_
重新实现reuseport逻辑，实现一致性哈希
Netfilter
04-13 5645
皮鞋，湿而不胖！ 说好的，周末写一篇关于reuseport的。凌晨一点多被正则给吵醒，索性一气之下就起床了，发周报，梳理工作，回答问题，写本文。 大家从来都没质疑过reuseport说明大家都不在乎reuseport。既然大家都不在乎，那我就来说说大家都不在乎的东西。大家都不管其实不是大家都不管，并不是大家觉得这很牛逼，实际上，真正使用这个机制的公司或者个人，早就偷偷地把它的实现机制给改掉了，只...
浅析套接字中SO_REUSEPORT和SO_REUSEADDR的区别
正西风落叶下长安
04-02 1万+
讨论了SO_REUSEPORT和SO_REUSEADDR在BSD中的起源及其作用的区别。分析了不同操作系统中二者意义上的差别。
socket选项 SO_REUSEPORT
yjh314的专栏
01-05 3653
摘要 多核与网络IO 目录[-] 前言本篇用于记录学习SO_REUSEPORT的笔记和心得，末尾还会提供一个bindp小工具也能为已有的程序享受这个新的特性。当前Linux网络应用程序问题运行在Linux系统上网络应用程序，为了利用多核的优势，一般使用以下比较典型的多进程/多线程服务器模型： 单线程listen/accept，多个工作线程接收任务分发，虽CPU的工作负载不再是
gdb 常用命令
fish的专栏
04-20 8299
run/r 运行 运行带参数的可执行文件：r 后面接参数，例如： $ gdb executablefile (gdb) r arg1 arg2 arg3 continue/c 继续运行 next/n 单步运行 step/s 如果有函数则进入函数执行 finish 跳出当前的函数 jump/j 跳转到指定行/地址后继续执行，因此如果在跳转的目标行上如果没有设置断点，会继续往下执行 ...
linux调试工具集
fish的专栏
07-27 6598
除了GDB以外，linux还提供了很多的内存调试工具： 注意：以下工具的使用之前，gcc需要使用-g编译出带符号的elf 1) addr2line 用于将可执行文件的虚拟内存地址或者动态库的偏移量转换成函数以及代码行。 动态库的偏移量计算方式：将虚拟内存地址减去/proc/pid/maps中该动态库的虚拟内存起始地址 示例： addr2line -C -f -e xxx.elf 0x123...
linux下查看跟踪线程
fish的专栏
08-03 5038
假设进程为my_process: # ps -ef|grep my_process root     10001  3322  0 14:05 ?        00:01:19 my_process root     26844 23970  0 17:12 pts/0    00:00:00 grep my_process 1) 通过ps命令查看线程，SPID是线程ID，STAT是线程状态...
SO_REUSEPORT怎么使用
最新发布
04-22
SO_REUSEPORT是一个socket选项，可以用于实现端口复用。在使用SO_REUSEPORT选项时，多个socket可以绑定同一个IP地址和端口号，这样就可以同时接收客户端的连接请求。若一个socket正在处理客户端请求，其他socket也...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值