一个奇葩的问题

最新推荐文章于 2024-04-30 19:30:21 发布
最新推荐文章于 2024-04-30 19:30:21 发布
阅读量435 收藏
点赞数
文章标签： 面试 职场和发展
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lianhunqianr1/article/details/131098981
版权

defab04d1c984f5ae05518006e3a7453.jpeg

大家好，这里是极客重生，最近遇到一个奇葩的网络问题，分享给大家，看完一定会觉得很奇葩。

问题现象

客户反馈有一个server端S， 两个client端C1, C2, S的iptables规则对C1, C2都是放通的，但是C2无法连接上S，客户很着急，催我们尽快解决。

这里解释一下，iptables规则是防火墙规则，是linux系统实现防火墙一个应用层配置工具，底层依赖是Linux内核网络子系统的netfiler框架。这里简单介绍一下问题的背景知识（后面网络硬核系列文章会详细介绍）。

欢迎加入极客星球学习圈子，全网专业且高质量的学习圈子：

  • 修炼基本功：分享多年基础技术深度理解（比如深入理解系列），基础概念深度解析等等；

  • 扩展技术和商业视野：真正的分享海内外技术发展，大厂技术内幕，业界解决方案；

  • 校招/高薪/跳槽涨薪/大厂：关于一切找工作问题分享，面试问题，简历修改，面试经验，面试问题答疑，各类大厂制定后端学习路线和指导；

  • 职场普升/技术专家：分享各种不同公司宝贵的职场普升经验，核心员工，职场潜规则, 团队合作，做事经验，普升经验，技术深耕经验，少走弯路；

  • 专属交流群：高手交流，开阔眼界，分享心得，每天成长，厚积薄发，任何技术问题，任何疑难杂症，都可以咨询，讨论，交流！

  • 深入理解系列

已完成：

  • 深入理解计算机系统

  • 深入理解操作系统（调度，内存，网络，IO）

  • 深入理解并发技术全景指南

  • 深入理解编程语言

  • 深入理解算法与数据结构

  • 深入理解网络协议

  • 深入理解网络编程

  • 深入理解性能优化

敬请期待：

  • 深入理解分布式技术

  • 深入理解数据库

  • 深入理解代码设计

  • 深入理解架构设计

详细了解：极客星球  ，现在加入超级优惠，早点加入一起学习成长，早点突破成长瓶颈：

d292b45c4455387568b979a6fae68c34.png

背景知识

30e0d4912337763a09d769a22cf11eac.png

netfilter是Linux内核内部的一个框架，该框架允许内核模块在Linux网络堆栈的不同位置注册回调函数。然后对于遍历Linux网络堆栈内各个挂钩的每个数据包，将调用已注册的回调函数。

netfilter / iptables能做什么？

  • 建立基于无状态和有状态数据包过滤的Internet防火墙

  • 部署高可用性的无状态和有状态防火墙集群

  • 如果您没有足够的公共IP地址，请使用NAT和伪装来共享Internet访问

  • 使用NAT来实现透明代理

  • 协助tc和iproute2系统用于构建复杂的QoS和策略路由器

  • 进行进一步的数据包处理（处理），例如更改IP标头的TOS / DSCP / ECN位

在内核协议栈位置大概是这样：

4c6bdb0d2d12b8a69aa1a3c3e1a586c9.png

netfilter 注册HOOK函数位置：

2be2158a65d14cb42dc814699eb73653.png

5个HOOK点：

PREROUTING：数据包进入路由表之前

INPUT：通过路由表后目的地为本机

FORWARD：通过路由表后，目的地不为本机

OUTPUT：由本机产生，向外发送

POSTROUTIONG：发送到网卡接口之前。

每个HOOK点都会执行一些函数，大致分为下面几个表：

NAT表: 用于实现nat功能，端口映射，地址映射等

mangle表: 用来修改报文，例如更改IP标头的TOS / DSCP / ECN位

filter表：用来过滤报文

raw表：用来提前标记报文不走一些流程（比如不需要建会话)

如果不熟悉不要紧，只需知道在协议栈收发关键入口（进入，转发，发出）注册一些 hook函数，然后报文会经过hook里面函数处理，而这些hook的动作（函数）是需要一个iptables的工具下发配置生成的。

iptables是您下发规则的用户态工具。IP表中的每个规则都由多个分类器（iptables匹配项）和一个连接的动作（iptables目标）组成。命令格式可参考下图，详细可以参考man手册：

93c5b23c900fe89f18b693dd68c8d4cc.png

这里记住两个动作就行了，ACCEPT表示通过，DROP表示丢掉；

内核里面看到的规则大概是这个样子：

98c4f0489f31312bc44ec856c8b5c6a9.png

主要特点

  • 无状态数据包过滤（IPv4和IPv6）

  • 有状态的数据包过滤（IPv4和IPv6）

  • 各种网络地址和端口转换，例如NAT / NAPT（IPv4和IPv6）

  • 灵活可扩展的基础架构

  • 第三方扩展的API

所以大多数公司会基于netfilter框架实现软件防火墙(安全组)和软件虚拟交换机（vswitch，类似ovs)。

好，背景简单介绍完了，如果不是很理解，后面会详细介绍的，来看一下这个客户实际问题。

分析过程

1.先了解网络拓扑

ff6d56f960c79b556829c978a5ceaaf4.png

客户网络拓扑是相当的简单，就是同网段下client机器访问服务器，一台可以访问，一台不可以。

2. 查看配置是否丢失

由于是同网段，相当于局域网通信，C1都可以访问S，那在S上路由肯定是ok的。对于服务端 10.0.0.3 而言，两台客户端机器到本机的iptable规则都是一样的。但10.0.2.8到10.0.0.3 的20202端口的syn包被丢了，而10.0.2.7 到 10.0.0.3 的 20202 端口的访问是正常的。

b3830ebf4c7b675ba21a5327b1124555.png

配置都在，需要进一步分析。

3. 抓包分析

client端发起telnet命令连接server, server按client ip抓包， 发现只有TCP SYN请求过来，并无回包，确实是本机OS内丢包导致无法正常连接：

6961e90dfb1ababae303b1c07e845854.png

通过netstat可以查看服务器TCP统计： 连接数不高，没有TCP队列丢包统计，结合10.0.2.7 client可以访问，进一步确认，放通安全组后，10.0.2.8 到 10.0.0.3 的 icmp 包也没有回，这个时候和TCP协议处理没有必然关系了。

4. 追踪内核丢包调用栈

报文如果被内核丢弃后，正常情况都会调用kfree_skb函数，内核通过kfree_skb释放skb，kfree_skb函数中已经埋下了trace点，并且通过__builtin_return_address(0)记录下了调用kfree_skb的函数地址并传给location参数，可以通过systemtap脚本，追踪kfree_skb这个trace point, 找到匹配ip的丢包并输出对应的堆栈：

/**
 *      kfree_skb - free an sk_buff
 *      @skb: buffer to free
 *
 *      Drop a reference to the buffer and free it if the usage count has
 *      hit zero.
 */
void kfree_skb(struct sk_buff *skb)
{
        if (unlikely(!skb))
                return;
        if (likely(atomic_read(&skb->users) == 1))
                smp_rmb();
        else if (likely(!atomic_dec_and_test(&skb->users)))
                return;
        trace_kfree_skb(skb, __builtin_return_address(0));
        __kfree_skb(skb);
}
EXPORT_SYMBOL(kfree_skb);


/*
 * Tracepoint for free an sk_buff:
 */
TRACE_EVENT(kfree_skb,

        TP_PROTO(struct sk_buff *skb, void *location),

        TP_ARGS(skb, location),

        TP_STRUCT__entry(
                __field(        void *,         skbaddr         )
                __field(        void *,         location        )
                __field(        unsigned short, protocol        )
        ),

        TP_fast_assign(
                __entry->skbaddr = skb;
                __entry->location = location;
                __entry->protocol = ntohs(skb->protocol);
        ),

        TP_printk("skbaddr=%p protocol=%u location=%p",
                __entry->skbaddr, __entry->protocol, __entry->location)
);

systemtap脚本：

# cat mydropwatch.stp
#!/usr/bin/stap --all-modules
%{
#include <linux/kernel.h>
#include <linux/net.h>
#include <linux/textsearch.h>
#include <net/checksum.h>
#include <linux/dma-mapping.h>
#include <linux/netdev_features.h>
#include <linux/skbuff.h>
#include <uapi/linux/ip.h>
#include <uapi/linux/udp.h>
#include <uapi/linux/tcp.h>
%}
############################################################
# dropwatch2.stp
# An example script to mimic the behavior of the dropwatch utility
# Reports every 5 seconds with timestamp
# Usage: stap -g --all-modules mydropwatch.stp //-g for guru mode
############################################################
function get_packet_info:string(skb:long)
%{
     int ret=-1;
     unsigned int src_port = 0;
     unsigned int dest_port = 0;
     struct udphdr *udp_header;
     struct tcphdr *tcp_header;
     struct sk_buff *skb= (struct sk_buff *)STAP_ARG_skb;
     struct iphdr *ip_header;
     unsigned int src_ip=0,dest_ip=0;
     if(!skb)
     {
         goto EXIT_F;
     }
     ip_header = (struct iphdr *)skb_network_header(skb);
     if(!ip_header)
     {
       goto EXIT_F;
     }
     src_ip = (unsigned int)ip_header->saddr;
     dest_ip = (unsigned int)ip_header->daddr;
#if 0
     if (ip_header->protocol==17) {
            udp_header = (struct udphdr *)skb_transport_header(skb);
            src_port = (unsigned int)ntohs(udp_header->source);
        } else if (ip_header->protocol == 6) {
            tcp_header = (struct tcphdr *)skb_transport_header(skb);
            src_port = (unsigned int)ntohs(tcp_header->source);
            dest_port = (unsigned int)ntohs(tcp_header->dest);
        }
     printk(KERN_INFO "OUT packet info: src ip: %u, src port: %u; dest ip: %u, dest port: %u; proto: %u\n", src_ip, src_port, dest_ip, dest_port, ip_header->protocol);
#endif
    // printk(KERN_DEBUG "IP addres = %pI4  DEST = %pI4\n", &src_ip, &dest_ip);
EXIT_F:
     snprintf(STAP_RETVALUE, MAXSTRINGLEN, "%d.%d.%d.%d",(unsigned int)((unsigned char *)&src_ip)[0],(unsigned int)((unsigned char *)&src_ip)[1],(unsigned int)((unsigned char *)&src_ip)[2],(unsigned int)((unsigned char *)&src_ip)[3]);
%}
# Array to hold the list of drop points we find
global locations
# Note when we turn the monitor on and off
probe begin { printf("Monitoring for dropped packets\n") }
probe end { printf("Stopping dropped packet monitor\n") }
# increment a drop counter for every location we drop at
probe kernel.trace("kfree_skb") {
  SrcIp=get_packet_info($skb)
  //if(SrcIp=="10.0.2.8")//src ip of packet is "10.0.2.8"
 // printf("srcip:%s\r\n",SrcIp)
  if(SrcIp==@1)
  {
    locations[$location] <<< 1 //systemtap Statistical aggregate
    if(symname($location)=="nf_hook_slow")//dump the backtrace if kfree_skb called by nf_hook_slow function
    print_backtrace();
  }
}
# Every 5 seconds report our drop locations
probe timer.sec(5)
{
//  printf("\n=== %s ===\n", ctime(gettimeofday_s()))
  foreach (l in locations-) {
    printf("\n=== %s ===\n", ctime(gettimeofday_s()))
    printf("%d packets dropped at %x (%s)\n",
           @count(locations[l]), l, symname(l))
  }
  delete locations
}
### mydropwatch.stp ends ###

执行方法：

stap -g -v --all-modules mydropwatch.stp 10.0.2.8

执行命令后，对应输出：

14c8b624ebd954e17e690a06e8aa2603.png

从调用栈可知是在ip_local_deliver函数时因为iptables规则导致的丢包，结合内核代码：

c5ecf92d5e8a292e713848537bd7badf.png

nf_hook_slow+0xf3 对于代码188行（先找到对应内核版本的源代码，用crash工具打开对应内核版本的vmlinux，反汇编函数查看指令偏移，定位到源代码行号）：

f54a2037ef5b55b2ce118d8ddc7d6ed4.png

可知是在INPUT链丢的包, 但是检查了mangle, nat, filter等表的INPUT链，并无其他drop规则，默认policy均为ACCEPT, 所以这里有点奇怪。

为了确定是否真的匹配上了ACCEPT规则，我在规则前后添加了打印log规则，报文匹配后会打印log出来：

a802057de8a72937db24677400d89d86.png

显示确认一下：

ce07d159597adcfcd72585d8facde7ac.png

通过触发请求，匹配上了第一个打印log的规则，10.0.2.8白名单规则命中计数有新增，而第二log规则没有匹配上，说明报文命中了白名单规则，报文可以通过防火墙:

968e69186b20634f01c8cfd3c7732ab1.png

但为什么服务端没有回syn+ack呢，是不是某种场景触发了netfiler框架的bug，假装accept，实际上把报文悄悄地给丢了？  结合报文和系统环境，看了几遍netfiler代码后，没有看出啥问题，清空iptables规则，停了firewalld，依然丢了，还是丢在 nf_hook_slow，也进一步证明不是普通iptables规则导致的。

如果要继续排查，是不是得遍历下内核数据结构，看看是不是list坏掉了，由于时间比较紧迫，遍历内核数据结构有点麻烦，需要找到netfiler hook表起始地址，再结合数据结构算出偏移，一步一步遍历内存，由于客户机器可以重启（业务已经不正常了），客户相信，重启可以比我们更快解决问题，还是重启大法好3a766ad3518157ea93e3e496d42cfec5.png，但不幸的是，机器重启完后没有恢复，问题依然存在，这个就有意思了。

5. 排查其他netfilter hook(钩子)函数

那么，有没有可能是有其他内核模块在INPUT链中注册了hook函数，drop了对应的包呢？我们使用crash调试内核来找一下：

背景知识

crash是redhat的工程师开发的，主要用来离线分析linux内核转存文件，它整合了gdb工具，功能非常强大。可以查看堆栈，dmesg日志，内核数据结构，反汇编等等。crash支持多种工具生成的转存文件格式，如kdump，LKCD，netdump和diskdump，而且还可以分析虚拟机Xen和Kvm上生成的内核转存文件。同时crash还可以调试运行时系统，直接运行crash即可，ubuntu下内核映象存放在/proc/kcore。

5.1. 从nf_hooks找到ipv4 INPUT链的hook列表

内核hook的组织：

9626771fb95680b0e40f8d000f18cfb8.png

那么对于NFPROTO_IPV4协议的NF_INET_LOCAL_IN链，我们可以找到其链表地址:

3f410c4e269f2dac41858bbda0ea9e14.png

43fe9315a9843f68b1c3e867882bfc39.png

可以看到有一个非标模块resguard_linux引入了非标hook函数net_hook_in_v4，反汇编net_hook_in_v4函数，可知其有一些白名单/黑名单之类的检查：

00b07744310dcee918e813822ba45738.png

由此基本可以确定是这个模块的安全功能利用netfilter hook拦截了访问。

他大爷的，还真的注册了nf hook9bddc2d5b89a40b8967b606276e9d931.png。

但要客户认账，还得证明这个包就是这个hook函数丢的，其实已经差不多了。

5.2. 如何证明是net_hook_in_v4返回NF_DROP(0x0)导致的丢包?

可以结合systemtap得到skb地址，然后通过perf probe抓取net_hook_in_v4和nf_iterate的返回值：

脚本：

947de9adcd0dce46e975e91c423db3b2.png

运行结果：

f40e9b5c0538c78f398e1af56b4871f2.png

由此可以看出bb2100结尾的这个skb是因为nf_hook_in_v4导致的丢包。

网上搜索可知该第三方安全模块疑似云锁这类软件提供，他可以通过ip黑白名单控制对网站的访问。

问题算是终于结束了，想着之前催得那么急，真想在线battle一下，然而客户是大爷，不敢想，不敢想a3fe7a8bb2268297089f3627325018fa.png。

可以学到什么

1. 大致了解Linux防火墙实现框架：netfilter+iptables；

2. 通过systemtap脚本追踪内核协议栈丢包堆栈信息；

3. 怎么通过堆栈函数和指令偏移找到源代码信息；

4. 一些丢包排查思路；

5. 了解一些工具使用，比如systemtap，crash，iptables，tcpdump等等；

最后，希望本文可以对你有所帮助，谢谢观赏，有任何问题可以在评论区留言bc45c9c63eb19e2d45ff40245f23128d.png，如果觉得文章不错，麻烦一键三连支持93bbe5061a925948cfef769cef9ce223.png3231b9aba666f5a747d416b540755433.png

欢迎加入极客星球圈子，全网专业且高质量学习圈子：

  • 修炼基本功：分享多年基础技术深度理解（比如深入理解系列），基础概念深度解析等等；

  • 扩展技术和商业视野：真正的分享海内外技术发展，大厂技术内幕，业界解决方案；

  • 校招/高薪/跳槽涨薪/大厂：关于一切找工作问题分享，面试问题，简历修改，面试经验，面试问题答疑，各类大厂制定后端学习路线和指导；

  • 职场普升/技术专家：分享各种不同公司宝贵的职场普升经验，核心员工，职场潜规则, 团队合作，做事经验，普升经验，技术深耕经验，少走弯路；

  • 专属交流群：高手交流，开阔眼界，分享心得，每天成长，厚积薄发，任何技术问题，任何疑难杂症，都可以咨询，讨论，交流！

   详细了解：极客星球  ，现在加入超级优惠，早点加入一起学习成长，早点突破成长瓶颈：

a9ff673822e109c810f40bcb35946728.png

扫码加入

577e93f42cddcee6c848417bba99e55a.jpeg

计算机网络硬核指南|网络设计核心思想

求点赞关注，在看，分享三连c8bee8d1d51e4b49ad99e01ed1df515e.png

极客重生
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
50 听起来很恐怖的数据库幻读，到底是个什么奇葩问题？l.pdf
04-15
50 听起来很恐怖的数据库幻读，到底是个什么奇葩问题？l.pdf
linux内核学习初级篇
breakout_alex的博客
09-30 1273
Linux内核获取地址 官网：https://www.kernel.org/ Linux操作系统的核心是模块化，可以使用lsmod命令查看内核模块，下面展示已载入系统的模块： Module Size Used by nfsv3 39436 0 nfs_acl 12837 1 nf...
Feign配置扫描包出现奇葩问题.docx
11-12
Feign配置扫描包出现奇葩问题.docx
奇葩工具箱Beta5.0.8
10-20
奇葩工具箱2014.10.19最新版本 奇葩工具箱Beta5.0.8更新内容： 1.修复*启动程序后右上角显示不明标签问题； 2.调整*对奇葩闹钟功能做了一点调整； 3.取消*QQ个性网名,签名,头像,分组大全等QQ相册封面拼图； 4....
够烧脑！科技公司面试中的十大奇葩问题
07-22
下面我们精选了10个奇葩问题，如果你能顺利回答上来的话，也许就能进入梦寐以求的科技企业啦。
16：00面试，16：06就出来了，问的问题有点变态。。。
最新发布
qq_48811377的博客
04-30 2801
整份文档一共有将近 200 页，全部为大家展示出来肯定是不太现实的，为了不影响大家的阅读体验就只展示了部分内容，还望大家海涵，希望能帮助到您面试前的复习且找到一个好的工作，也节省大家在网上搜索资料的时间来学习！
面试经典150题——最长公共前缀
weixin_42075274的博客
04-28 520
面试经典150题 最长公共前缀 遍历 分治 字典树
【校招VIP】985 211求职策略
shuize123的博客
04-28 964
校招在同个层次，大厂对学生的要求是一样的，大家也没有工作背景，所以考察东西都是基本上是一致的，考点非常的清楚，所以不管是算法还是专业课，还是语言考点，都能够快速的把它准备好。而很多其他的所谓的卖课大V也好，或者培训班也好，最主要的问题就是项目部分，如果不满足重复度低、亮点多、真实度高的这个特点的话，你的简历就跟几万份的其他的同学的简历是一样的。所以这个同学的问题，可能是他的算法没有准备好，也可能是他的简历项目的重复度非常高，或者有些明显的虚假问题，又或者是明显的表达问题，所以面试官不给面试机会。
Android性能优化面试题汇总
xiangzhihong8的专栏
04-29 57
Android的性能优化涉及多个方面，如启动优化、稳定性优化、内存优化、网络优化、电量优化、安全优化等方面。
嵌入式一些面试题
博客
04-28 617
部分面试题
JAVA每日面试题
Nekosann的博客
04-26 479
Java类加载器负责将.class文件加载到JVM中，并转换成运行时的类。加载：查找.class文件或JAR文件，并将其读入JVM。验证：确保加载的类文件符合JVM规范，没有安全问题。准备：为类分配内存，并设置静态变量的初始值。解析：将类的二进制数据中的符号引用转换为直接引用。初始化：执行类构造器()方法，初始化静态变量。启动类加载器（Bootstrap ClassLoader）：负责加载Java核心类库。扩展类加载器。
20个 Golang 常见面试问题
sre救赎之路
04-26 640
Golang 提供了 encoding/json 包，使用 json.Marshal 和 json.Unmarshal 函数将 Go 类型编码为 JSON，并将 JSON 解码为 Go 类型。Golang 鼓励显式地将错误作为返回值返回，并提供了如 errors.New 和 fmt.Errorf 这样的函数来创建和格式化错误。Golang 提供了同步原语，如互斥锁（mutexes）和通道（channels），用于在并发场景中安全地访问和修改共享资源。Golang 中的反射允许在运行时检查类型、值和结构体。
代码随想录算法训练营Day25 | 216.组合总和III、17.电话号码的字母组合 | Python | 个人记录向
Python基本算法
04-27 657
回溯算法：216.组合总和III、17.电话号码的字母组合。
mysql优化面试总结
梦想是很难很难的，所以先勇敢一点
04-29 141
只是我常常觉得很多话无从说起。就像在平时，见到一些陌生人，一些熟悉和欢喜的人，不知道与之说些什么。也很少对身边的人谈论自己。所有的时间和记忆，都可以交付给书写。有些在书中说过多次，却似乎并未说出真正想表达的意思。有些从无提起过，它们在黑暗中更显得郑重端庄。有些事是不能轻易说起的。书写可以，但那也是不足够的。
Java面试八股文-2024
赵先森
04-26 481
面试指南 TMD，一个后端为什么要了解那么多的知识，真是服了。啥啥都得了解 MySQL MySQL索引可能在以下几种情况下失效： 不遵循最左匹配原则：在联合索引中，如果没有使用索引的最左前缀，即查询条件中没有包含联合索引的第一列，那么索引将会失效。 使用了OR操作符：即使在查询条件中使用了联合索引的全部列，如果这些列之间是使用OR操作符连接的，索引也可能会失效。 数据类型转换：如果在查询条件中对字段进行了隐式的类型转换，比如将字符类型的字段与数字进行比较，这可能导致索引失效。 使用了函数或表达式：在
桌面运维岗面试三十问
一坨小橙子的博客
04-28 709
桌面运维岗面试问题及答案汇总
面试二十二、跳表SkipLists
leimeili的博客
04-25 949
跳表全称为跳跃列表，它允许快速查询，插入和删除一个有序连续元素的数据链表。跳跃列表的平均查找和插入时间复杂度都是O(logn)。快速查询是通过维护一个多层次的链表，且每一层链表中的元素是前一层链表元素的子集（见右边的示意图）。一开始时，算法在最稀疏的层次进行搜索，直至需要查找的元素在该层两个相邻的元素中间。这时，算法将跳转到下一个层次，重复刚才的搜索，直到找到需要查找的元素为止。一张跳跃列表的示意图。每个带有箭头的框表示一个指针, 而每行是一个稀疏子序列的链表；底部的编号框（黄色）表示有序的数据序列。
面试算法题精讲：最长公共子序列
ProgramNovice的博客
04-27 1052
面试算法题精讲：最长公共子序列
chatgpt奇葩问题回答
09-17
ChatGPT是一个基于人工智能的聊天机器人，它可以通过学习海量数据来进行自然语言理解和生成回复。然而，由于它的工作原理，有时它可能会给出一些奇葩的回答。 这是因为ChatGPT是通过大规模训练来学习生成回复的，它...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值