最全Linux 追踪技术 ftrace的使用（二）_ftrace跟踪线程，2024年最新图文详解

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1. 0.365 us | idle_cpu();

2.           |        rcu\_irq\_exit() {
   

3. 0.417 us | rcu_eqs_enter_common.isra.47();
4. 3.125 us | }
5. ! 227.812 us | }
6. ! 457.395 us | }
7. @ 119760.2 us | }

[…]

2.           |    handle\_IPI() {
   

3. 6.979 us | }
4. 0.417 us | scheduler_ipi();
5. 9.791 us | }
6. • 12.917 us | }
7. 3.490 us | }
8. • 15.729 us | }
9. • 18.542 us | }
10. $ 3594274 us | }

• means that the function exceeded 10 usecs.
  ! means that the function exceeded 100 usecs.

means that the function exceeded 1000 usecs.

* means that the function exceeded 10 msecs.
@ means that the function exceeded 100 msecs.
$ means that the function exceeded 1 sec.

（5）


对于开始在跟踪缓冲区中的函数，可以在右括号（the closing bracket）后显示函数名称，从而可以更轻松地使用 grep 搜索函数持续时间。 默认禁用。

hide: echo nofuncgraph-tail > trace_options
show: echo funcgraph-tail > trace_options

nofuncgraph-tail 示例（默认）：

0.           |      putname() {
   

1.           |        kmem\_cache\_free() {
   

2. 0.518 us | __phys_addr();
3. 1.757 us | }
4. 2.861 us | }

funcgraph-tail 示例：

0.           |      putname() {
   

1.           |        kmem\_cache\_free() {
   

2. 0.518 us | __phys_addr();
3. 1.757 us | } /* kmem_cache_free() */ 右括号（代表函数结束）显示函数名称
4. 2.861 us | } /* putname() */ --右括号（代表函数结束）显示函数名称

（6）


可以使用 trace\_printk() 对特定函数 function() 添加一些注释 例如，如果您想在 function() 函数中添加注释，您只需包含 <linux/ftrace.h> 并在 function() 中调用 trace\_printk() ：

trace_printk(“I’m a comment!\n”)

将产生：

1.           |              function()  {
   

2.           |                /\* I'm a comment! \*/
   

3. 1.449 us | }

## 三、tracepoint


### 3.1 tracepoint简介


参考：[Event Tracing](https://bbs.csdn.net/topics/618542503)  
 tracepoint是内核静态检测，跟踪点在技术上只是放置在内核源代码中的跟踪函数； 它们从定义和格式化它们的参数的跟踪事件接口中使用。 跟踪事件在 tracefs 中可见，并与 Ftrace 共享输出和控制文件


无需创建自定义内核模块即可使用tracepoint来使用 event tracing infrastructure 注册探测功能。


并非所有tracepoint都可以使用 event tracing system 进行跟踪； 内核开发人员必须提供代码片段，这些代码片段定义了如何将跟踪信息保存到跟踪缓冲区中，以及应该如何打印跟踪信息。


基于 ftrace 跟踪内核静态跟踪点，包括全部可用于跟踪的静态跟踪点，可跟踪的完整列表可通过 available\_events 查看：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/684906d0e55946fbb40ec26b8a72e6a3.png)  
 events 目录下查看到各分类的子目录：

ls -F events

![在这里插入图片描述](https://img-blog.csdnimg.cn/8eddc73176b8469e93d5e5e75476bdf7.png)  
 例如，以下启用 block:block\_rq\_issue 跟踪点并实时监视事件。 此示例通过禁用跟踪点完成：

echo 1 > events/block/block_rq_issue/enable
cat trace_pipe | more

前五列是：进程名称“-”PID、CPU ID、标志、时间戳（秒）和事件名称。其余的是跟踪点的格式字符串。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/7149e9e6faae486588daeffa2ca92840.png)  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/6fcd4765eba94b91b853da1488e0136f.png)

echo 0 > events/block/block_rq_issue/enable

从这个例子中可以看出，跟踪点在事件下的目录结构中有控制文件。 每个跟踪系统都有一个目录（例如，“block”）和每个事件的子目录（例如，“block\_rq\_issue”）：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/070d19516a704ad0a51b0e858c22afce.png)  
 这些控制文件记录在 Linux 源代码的 Documentation/trace/events.rst 下，在此示例中，启用文件用于打开和关闭跟踪点。 其他文件提供过滤和触发功能。


### 3.2 Filter


可以包含过滤器以仅在满足布尔表达式时记录事件。 它有一个受限制的语法：

field operator value

（1）数字运算符是以下之一：==、!=、<、<=、>、>=、&；


（2）对于字符串：==、!=、~。


（3）“~”运算符执行 shell glob 样式的匹配，带有通配符：\*、?、[]。


这些布尔表达式可以用括号分组并使用：&&、|| 组合。


备注：  
 通配符\*：表示字符在匹配模式的文本中出现0次或多次  
 通配符?：表示字符在匹配模式的文本中出现0次或1次  
 通配符[]: []表示字符组，可以定义用来匹配文本模式中某个位置的一组字符。如果字符组中某个字符出现在了数据流中，就匹配该模式。


例如，以下对已启用的 block:block\_rq\_insert 跟踪点设置过滤器以仅跟踪字节字段大于 64 KB 的事件：

echo ‘bytes > 65536’ > events/block/block_rq_insert/filter

输出现在只包含较大的 I/O。

echo 0 > events/block/block_rq_insert/filter //echo 0 重置过滤器

### 3.3 Trigger


触发事件时，触发器会运行额外的跟踪命令。 该命令可能是启用或禁用其他跟踪、打印堆栈跟踪或获取跟踪缓冲区的快照。 当前未设置触发器时，可以从触发器文件中列出可用的触发器命令。 例如：

cat events/block/block_rq_issue/trigger

![在这里插入图片描述](https://img-blog.csdnimg.cn/f519ed33c32040679268bb9da65108c3.png)  
 触发器的一个用例是当您希望查看导致错误条件的事件时：可以将触发器放置在错误条件上，该条件可以禁用跟踪 (traceoff)，以便跟踪缓冲区仅包含先前的事件，或者获取 一个快照（snapshot）来保存它。


触发器可以通过使用 if 关键字与上一节中显示的过滤器结合使用。 这可能是匹配错误条件或有趣事件所必需的。 例如，要在大于 64 KB 的块 I/O 排队时停止记录事件：

echo ‘traceoff if bytes > 65536’ > events/block/block_rq_insert/trigger

## 四 、kprobes


参考：[Kprobe-based Event Tracing](https://bbs.csdn.net/topics/618542503)


这些事件类似于基于跟踪点的事件。 它不是基于 Tracepoint，而是基于 kprobes（kprobe 和 kretprobe）。 所以它可以探测 kprobes 可以探测的任何地方（这意味着，除了那些带有 \_\_kprobes/nokprobe\_inline 注释和那些标记为 NOKPROBE\_SYMBOL 的函数之外的所有函数）。 与基于 Tracepoint 的事件不同，它可以动态添加和删除.


要启用此功能，请使用 CONFIG\_KPROBE\_EVENTS=y 构建内核。


与events tracer（tracepoint）类似，这不需要通过 current\_tracer 激活。 取而代之的是，通过 /sys/kernel/debug/tracing/kprobe\_events 添加探测点，并通过 /sys/kernel/debug/tracing/events/kprobes//enable 启用它。


您也可以使用 /sys/kernel/debug/tracing/dynamic\_events 而不是 kprobe\_events。 该接口也将提供对其他动态事件的统一访问。


kprobes 是内核动态检测机制，允许我们跟踪函数任意位置，还可用于获取函数参数与结果返回值。kprobe 机制跟踪函数须是 available\_filter\_functions 列表中的子集。


kprobes 创建 kprobe 事件供跟踪器使用，它与 Ftrace 共享 tracefs 输出和控制文件。kprobes 类似于 Ftrace 函数跟踪器，因为它们跟踪核函数。然而，kprobes 可以进一步定制，可以放置在函数偏移量（单独的指令）上，并且可以报告函数参数和返回值。


### 4.1 Event Tracing


每个探针事件过滤功能允许您在每个探针上设置不同的过滤器，并为您提供将在跟踪缓冲区中显示的参数。 如果在 kprobe\_events 中的 ‘p:’ 或 ‘r:’ 之后指定了事件名称，它会在 tracking/events/kprobes/ 下添加一个事件，在该目录中您可以看到 id、enable、format 、filter 和 trigger。


例如，以下使用 kprobes 检测 do\_nanosleep() 内核函数：

echo ‘p:brendan do_nanosleep’ >> kprobe_events
echo 1 > events/kprobes/brendan/enable
cat trace | more

![在这里插入图片描述](https://img-blog.csdnimg.cn/7c8f47c20404449cbff8c2a710af2608.png)

enable:
You can enable/disable the probe by writing 1 or 0 on it.

format:
This shows the format of this probe event.

filter:
You can write filtering rules of this event.

id:
This shows the id of this probe event.

trigger:
This allows to install trigger commands which are executed when the event is hit

![在这里插入图片描述](https://img-blog.csdnimg.cn/415b6c46918244619cb5361c690d9955.png)

echo 0 > events/kprobes/brendan/enable
echo ‘-:brendan’ >> kprobe_events

通过将特殊语法附加到 kprobe\_events 来创建和删除 kprobe。 创建后，它会与跟踪点一起出现在 events 目录中，并且可以以类似的方式使用。kprobe 语法在 Documentation/trace/kprobetrace.rst 下的内核源代码中有完整说明。kprobes 能够跟踪内核函数的进入和返回以及函数偏移量。


kprobe\_events 概要：

p[:[GRP/]EVENT] [MOD:]SYM[+offs]|MEMADDR [FETCHARGS] : Set a probe
r[MAXACTIVE][:[GRP/]EVENT] [MOD:]SYM[+0] [FETCHARGS] : Set a return probe
p:[GRP/]EVENT] [MOD:]SYM[+0]%return [FETCHARGS] : Set a return probe
-:[GRP/]EVENT : Clear a probe

GRP : Group name. If omitted, use “kprobes” for it.
EVENT : Event name. If omitted, the event name is generated
based on SYM+offs or MEMADDR.
MOD : Module name which has given SYM.
SYM[+offs] : Symbol+offset where the probe is inserted.
SYM%return : Return address of the symbol
MEMADDR : Address where the probe is inserted.
MAXACTIVE : Maximum number of instances of the specified function that
can be probed simultaneously, or 0 for the default value
as defined in Documentation/trace/kprobes.rst section 1.3.1.

FETCHARGS : Arguments. Each probe can have up to 128 args.
%REG : Fetch register REG
@ADDR : Fetch memory at ADDR (ADDR should be in kernel)
@SYM[+|-offs] : Fetch memory at SYM +|- offs (SYM should be a data symbol)
$stackN : Fetch Nth entry of stack (N >= 0)
$stack : Fetch stack address.
$argN : Fetch the Nth function argument. (N >= 1) (\*1)
$retval : Fetch return value.(\*2)
$comm : Fetch current task comm.
+|-[u]OFFS(FETCHARG) : Fetch memory at FETCHARG +|- OFFS address.(\*3)(\*4)
\IMM : Store an immediate value to the argument.
NAME=FETCHARG : Set NAME as the argument name of FETCHARG.
FETCHARG:TYPE : Set TYPE as the type of FETCHARG. Currently, basic types
(u8/u16/u32/u64/s8/s16/s32/s64), hexadecimal types
(x8/x16/x32/x64), “string”, “ustring” and bitfield
are supported.

(\*1) only for the probe on function entry (offs == 0).
(\*2) only for return probe.
(\*3) this is useful for fetching a field of data structures.
(\*4) “u” means user-space dereference. See :ref:user_mem_access.

在上面的示例中，字符串“p:brendan do\_nanosleep”为内核符号 do\_nanosleep() 创建了一个名为“brendan”的探针 (p:)。 字符串“-:brendan”删除名称为“brendan”的探测。


### 4.2 Arguments


与函数跟踪不同，kprobes 可以检查函数参数和返回值。 例如，这里是前面跟踪的 do\_nanosleep() 函数的声明，来自 kernel/time/hrtimer.c，其中突出显示了参数变量类型：

static int __sched do_nanosleep(struct hrtimer_sleeper *t, enum hrtimer_mode mode)
{
hrtimer_init_sleeper(t, current);

do {
	set\_current\_state(TASK_INTERRUPTIBLE);
	hrtimer\_start\_expires(&t->timer, mode);

	if (likely(t->task))
		freezable\_schedule();

	hrtimer\_cancel(&t->timer);
	mode = HRTIMER_MODE_ABS;

} while (t->task && !signal\_pending(current));

\_\_set\_current\_state(TASK_RUNNING);

return t->task == NULL;

}

跟踪 Intel x86\_64 系统上的前两个参数并将它们打印为十六进制（默认值）：

echo ‘p:brendan do_nanosleep hrtimer_sleeper=$arg1hrtime{r}_{m}ode=$arg2’ >> kprobe_events

![在这里插入图片描述](https://img-blog.csdnimg.cn/36134d79fc714e60b3448f7bba31fb2c.png)

echo 0 > events/kprobes/brendan/enable
echo ‘-:brendan’ >> kprobe_events

在第一行的事件描述中添加了额外的语法：例如，字符串“hrtimer\_sleeper=$arg1”跟踪函数的第一个参数并使用自定义名称“hrtimer\_sleeper”。 这已在输出中突出显示。  
 在 Linux 4.20 中添加了访问  
 
 
 
 
 a 
 
 
 r 
 
 
 g 
 
 
 1 
 
 
 、 
 
 
 
 arg1、 
 
 
 arg1、arg2 等函数的参数。 以前的 Linux 版本需要使用寄存器名称。 这是使用寄存器名称的等效 kprobe 定义：

echo ‘p:brendan do_nanosleep hrtimer_sleeper=%di hrtimer_mode=%si’ >> kprobe_events

要使用寄存器名称，您需要知道处理器类型和使用的函数调用约定。 x86\_64 uses the AMD64 ABI，所以前两个参数在寄存器 rdi 和 rsi 中可用。


### 4.3 Return Values


返回值的特殊别名 $retval 可用于 kretprobes。 以下示例使用它来显示 do\_nanosleep() 的返回值：

echo ‘r:brendan do_nanosleep ret=$retval’ >> kprobe_events
echo 1 > events/kprobes/brendan/enable
cat trace_pipe

![在这里插入图片描述](https://img-blog.csdnimg.cn/616cb67153a447a1aea85e6fdd6d0a4f.png)

echo 0 > events/kprobes/brendan/enable
echo ‘-:brendan’ >> kprobe_events

此输出表明，在跟踪时，do\_nanosleep() 的返回值始终为“0”（成功）。


### 4.4 Filters and Triggers


Filters and triggers可以在 events/kprobes/… 目录中使用，就像 tracepoints一样。  
 这是带有参数的 do\_nanosleep() 上早期 kprobe 的格式文件（来自小节 4.2 Arguments）：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/9d4da338121f425799a39eab38edebfc.png)  
 请注意，我的自定义 hrtimer\_sleeper 和 hrtimer\_mode 变量名称作为可与过滤器一起使用的字段可见。 例如：

echo ‘hrtimer_mode != 1’ > events/kprobes/brendan/filter

这只会跟踪 hrtimer\_mode 不等于 1 的 do\_nanosleep() 调用。


### 4.5 kprobe Profiling


启用 kprobe 时，Ftrace 会计算它们的事件。 这些计数可以打印在 kprobe\_profile 文件中。 例如：

echo ‘p:brendan do_nanosleep’ >> kprobe_events
echo 1 > events/kprobes/brendan/enable
cat trace_pipe
cat /sys/kernel/debug/tracing/kprobe_profile

![在这里插入图片描述](https://img-blog.csdnimg.cn/1e56c4cfda5d475cb4e1cccdb77410f6.png)


通过 /sys/kernel/debug/tracing/kprobe\_profile 检查探测命中和探测未命中的总数。 第一列是事件名称，第二列是探测命中数，第三列是探测未命中数。

event name probe hits probe miss-hits

虽然您已经可以使用 function profiler 获取函数计数，但我发现 kprobe 探查器可用于检查监控软件使用的始终启用的 kprobe，以防某些触发过于频繁而应禁用（ 如果可能的话）。


## 五、ftrace\_enabled


请注意，proc sysctl ftrace\_enable 是函数跟踪器的大开/关开关。 默认情况下它是启用的（当内核中启用函数跟踪时）。 如果禁用，则禁用所有功能跟踪。 这不仅包括 ftrace 的函数跟踪器，还包括任何其他用途（perf、kprobes、堆栈跟踪、分析等）。  
 It cannot be disabled if there is a callback with FTRACE\_OPS\_FL\_PERMANENT set registered.


请小心禁用此功能。


这可以通过以下方式禁用（和启用）：

sysctl kernel.ftrace_enabled=0
sysctl kernel.ftrace_enabled=1

or

echo 0 > /proc/sys/kernel/ftrace_enabled
echo 1 > /proc/sys/kernel/ftrace_enabled

## 六、trace/trace\_pipe/Snapshot


(1) trace file：


该文件以可读的格式保存跟踪的输出。 使用 O\_TRUNC 标志打开此文件进行写入会清除环形缓冲区内容。 请注意，此文件不是消费者。 如果跟踪关闭（没有跟踪器运行，或 tracking\_on 为零），每次读取时都会产生相同的输出。 当跟踪打开时，它可能会产生不一致的结果，因为它会尝试读取整个缓冲区而不消耗它。

cat trace

(2) trace\_pipe file


输出与“trace”文件相同，但该文件旨在通过实时跟踪进行流式传输。 从此文件读取将阻塞，直到检索到新数据。 与“trace”文件不同，这个文件是一个消费者。 这意味着从此文件读取会导致顺序读取以显示更多当前数据。 一旦从这个文件中读取数据，它就会被消耗掉，并且不会通过顺序读取再次读取。 “trace”文件是静态的，如果tracer没有添加更多数据，每次读取都会显示相同的信息。

cat trace_pipe

trace\_pipe 输出的内容与trace文件相同，但对跟踪的影响不同。 每次从 trace\_pipe 读取都会被消耗。 这意味着后续的读取会有所不同。The trace is live.


请注意，在添加更多输入之前，读取 trace\_pipe 文件将被阻塞。 这与trace文件相反。 如果任何进程打开trace文件进行读取，它实际上将禁用跟踪并阻止添加新条目。 trace\_pipe 文件没有这个限制。


（3）Snapshot

cat snapshot

CONFIG\_TRACER\_SNAPSHOT 使所有非延迟跟踪器都可以使用通用快照功能。 （记录最大延迟的延迟跟踪器，例如“irqsoff”或“wakeup”，不能使用此功能，因为它们已经在内部使用快照机制。）


快照在特定时间点保留当前跟踪缓冲区，而不会停止跟踪。 Ftrace 将当前缓冲区与备用缓冲区交换，并在新的当前（=先前备用）缓冲区中继续跟踪。


“tracing”中的以下tracefs文件与此功能相关：  
 snapshot:  
 这用于拍摄快照并读取快照的输出，echo 1 到该文件中以分配一个备用缓冲区并拍摄快照（交换），然后以与“跟踪”相同的格式从该文件中读取快照，读取快照和跟踪都可以并行执行。 分配备用缓冲区时，echo 0 会释放它，echo else（除0和1以为的其它正整数，比如2、3等等） 值会清除快照内容。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/2fcf6632881f4df0a988664d3269d52d.png)

echo 1 > events/sched/enable
echo 1 > snapshot
cat snapshot

![在这里插入图片描述](https://img-blog.csdnimg.cn/17f942d9b12a4f3ab03fcdc0e9619e31.png)


![在这里插入图片描述](https://img-blog.csdnimg.cn/8d94abcc6cd4453d97d91965e26a8237.png)

echo 0 > events/sched/enable
echo 0 > snapshot
cat snapshot
echo > trace

![在这里插入图片描述](https://img-blog.csdnimg.cn/655e965ea051491381ff812434bc1543.png)

echo 3 > snapshot
cat snapshot

![在这里插入图片描述](https://img-blog.csdnimg.cn/0be8c4ba94184ad8afcdfe31f617acc4.png)


如果您在当前跟踪器是延迟跟踪器之一时尝试使用此快照功能，您将获得以下结果：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/32be282183c3416bb5248e1e3e265678.png)


## 七、trace entries


在诊断内核中的问题时，数据过多或不足都会很麻烦。 文件 buffer\_size\_kb 用于修改内部跟踪缓冲区的大小。 列出的数字是每个 CPU 可以记录的条目数。 要知道完整大小，请将可能的 CPU 数乘以条目数。  
 (1)

cat buffer_size_kb

1408 (units kilobytes)

(2)  
 或者简单地读取buffer\_total\_size\_kb:

cat buffer_total_size_kb

5632

(3)  
 要修改缓冲区，只需简单地echo一个数字（在 1024 字节段中）:

echo 10000 > buffer_size_kb

cat buffer_size_kb

10000 (units kilobytes)

(4)  
 它将尝试尽可能多地分配。 如果分配过多，可能会导致 Out-Of-Memory 触发。

echo 1000000000000 > buffer_size_kb

-bash: echo: write error: Cannot allocate memory

cat buffer_size_kb

85

(5)  
 per\_cpu缓冲区也可以单独修改:

echo 10000 > per_cpu/cpu0/buffer_size_kb

echo 100 > per_cpu/cpu1/buffer_size_kb

![在这里插入图片描述](https://img-blog.csdnimg.cn/776bc9a8de984d238a980fe39b300af7.png)


(6)  
 当 per\_cpu 缓冲区不相同时，顶层的 buffer\_size\_kb 只会显示一个 X

cat buffer_size_kb

X

写入顶层 buffer\_size\_kb 会将所有缓冲区重置为相同。


## 八、Filter commands


set\_ftrace\_filter 接口支持的命令很少。 跟踪命令具有以下格式：

::

支持以下命令：


### 8.1 mod


此命令启用每个模块的功能过滤。 参数定义模块。 例如，如果只需要 ext3 模块中的 write\* 函数，

echo ‘write*:mod:ext3’ > set_ftrace_filter

最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

资料预览

给大家整理的视频资料：

给大家整理的电子书资料：

如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

八、Filter commands

set_ftrace_filter 接口支持的命令很少。 跟踪命令具有以下格式：

<function>:<command>:<parameter>

支持以下命令：

8.1 mod

此命令启用每个模块的功能过滤。 参数定义模块。 例如，如果只需要 ext3 模块中的 write* 函数，

echo ‘write\*:mod:ext3’ > set_ftrace_filter


### 最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

### 资料预览

给大家整理的视频资料：

[外链图片转存中...(img-Xd9qBgi3-1715062101996)]

给大家整理的电子书资料：

  

[外链图片转存中...(img-I3YgjT85-1715062101997)]



**如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！**

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618542503)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**