C/C++Linux服务器开发/后台架构师知识体系整理

1：精进基石

1.1 数据结构与算法

1.1.1 随处可见的红黑树

红黑树的应用场景 进程调度cfs，内存管理
红黑树的数学证明与推导
手撕红黑树的左旋与右旋
红黑树添加的实现与添加三种情况的证明
红黑树删除的实现与删除四种情况的证明
红黑树的线程安全的做法
分析红黑树工程实用的特点

1.1.2 磁盘存储链式的B树与B+树

磁盘结构分析与数据存储原理
多叉树的运用以及B树的定义证明
B树插入的两种分裂
B树删除的前后借位与节点合并
手撕B树的插入，删除，遍历，查找
B+树的定义与实现
B+树叶子节点的前后指针
B+树的应用场景与实用特点
B+树的线程安全做法

1.1.3 海量数据去重的Hash与BloomFilter，bitmap

hash的原理与hash函数的实现
hash的应用场景
分布式hash的实现原理
海量数据去重布隆过滤器
布隆过滤的数学推导与证明

1.1.4 排序与KMP

必学十大经典排序算法，看这篇就够了
如何更好地理解和掌握 KMP 算法?

1.1.5 图论算法，dijkstra，dfs，bfs，动态规划

数据结构和算法 图
数据结构与算法 - 图论
[最短路径问题]—Dijkstra 算法最详解
DFS（Deep First Search）深度优先搜索 & BFS（Breath First Search）广度优先搜索。
动态规划详解
数据结构与算法 线性表

1.2 设计模式

23 种设计模式详解 代码实现全解析

1.2.1 创建型设计模式

单例模式策略模式观察者模式
工厂方法模式与抽象工厂模式
原型模式

1.2.2 结构型设计模式

适配器模式 代理模式 责任链模式 状态模式 桥接模式 组合模式

1.3 c++11新特性

1.3.1 stl容器，智能指针，正则表达式

unordered map
stl容器
hash的用法与原理
shared_ptr, unique_ptr
besic regex, sub match
函教对象模板 function, bind

1.3.2新特性的线程，协程，原子操作，lamda表达式

atomic的用法与原理
thread local与cond ition_variable
异常处理 exception_ptr
检误处理 error category coroutine的用法与原理

1.4 Linux工程管理

1.4.1 Makefile/cmake/configure

Makefile的规则与make的工作原理
单文件编谈与多文件编证
Makefile的参数传递
多目录文件央递归编译与嵌套执行make
Makefile的通配符，伪目标，文件搜索
Makefile的操作函数与特殊语法
configure生成makefile的原则
cmake的写法

1.4.2 分布式版本控制git

git的工作流程
创建操作与基本操作
分支管理，查看提交历史
git服务器搭建

1.4.3 Linux系统运行时参数命令

进程间通信设施状态 ipos
Linux系统运行时长 uptime
CPU平均负载和磁盘活动 iostat
监控，收集和汇报系统活动 sar
监控多处理器使用情况 mpstat
监控进程的内存使用情况 pmap
系统管理员调优和基准测量工具 nmon
密切关注Linux系统 glances
查看系统调用 strace
ftp 服务器基本信息 ftptop
电量消耗和电源管理 powertop
监控 mysql的线程和性能 mytop
系统运行参数分析 htop/top/atop
Linux网络统计监控工具 netstat
显示和修改网络接口控制器 ethtoo
网络数据包分析利刃 tcpdump
远程登陆服务的标准协议 telnet
获取实时网络统计信息 iptraf
显示主机上网络接口带宽使用情况 iftop

2.高性能网络设计专栏

2.1 网络编程

2.1.1 网络io与select， poll.epoll

socket与文件描述符的关联
sigio的异步通知
多路复用select/poll
手撕epoll单线程，多线程，多进程的多种写法
代码实现LT/ET的区别

2.1.2 reactor的原理与实现

reactor针对业务实现的优点
epoll封装 send cb/recvcb/acceptcb
reactor多核实现
跨平台(select/epoll/kqueue)的封装reactor

2.1.3 http/https服务器的实现

reactor sendbuffer与recvbuffer封装http协议
http协议格式
http2.0与http3.0
有限状态机fsm解析http
https的工作流程
https证书配置

2.1.4 websocket协议与服务器实现

reactor sendbuffer与recvbuffer封装websocket协议
websocket握手流程
websocket协议头封装
top分包与粘包的解决方案
websocket数据流的编解码

2.2网络原理

2.2.1 服务器百万并发实现

同步处理与异步处理的数据差异
网络io线程池异步处理
ulimit的fd的百万级别支持
sysctl.conf的rmem与wmem的调优
conntrack的原理分析

2.2.2 redis, memcached，nginx网络组件

redis单线程reactor的实现
memcached的多线程master-worker的reactor实现
nginx的多进程reactor的实现
多进程reactor的坑点，惊群，共享内存

2.2.3 PosixAPI与网络协议栈

connect，listen，accept与三次握手
listen参数backlog
syn泛洪的解决方案
close与四次挥手
11个状态迁移
大量close wait与time wait的原因与解决方案
top keepalive与应用层心跳包
拥塞控制与滑动窗口

2.2.4 UDP的可靠传输协议QUIC

udp的优缺点
udp高并发的设计方案
qq早期为什么选择udp作为通信协议
udp可靠传输原理 quic协议的设计原理
quic的开源方案quiche
kcp的设计方案与算法原理

2.3 自研框架协程框架NtyCo的实现

2.3.1 协程设计原理与汇编实现

协程存在的3个原因
同步与异步性能，服务端异步处理，客户端异步请求
协程原语 switch,resume,yield,
协程切换的三种实现方式，setimp/longjmp，ucontext，汇编实现
汇编实现 寄存器讲解
协程初始启动 eip寄存器设置
协程栈空间定义，独立栈与共享栈的做法
协程结构体定义

2.3.2 协程调度器实现与性能测试

调度器的定义分析
超时集合，就绪队列，i等待集合的实现
协程调度的执行流程
协程接口实现，异步流程实现
hook钩子的实现
协程实现mysql请求
协程多核方意分析
协程性能测试

2.4 自研框架:用户态协议栈NtyTcp的实现

2.4.1 用户态协议栈设计实现

用户态协议栈的存在场景与实现原理
netmap开源框架
eth协议，ip协议，udp协议实现
arp协议实现
icmp协议实现

2.4.2 tcp/ip定时器与滑动窗口

top协议头实现 tcp控制块的实现滑动窗口的实现
重传定时器，坚持定时器，time_wait定时器，keepalive定时器

2.4.3 手把手设计实现epol!

epoll数据结构封装与线程安全实现
协议栈fd就绪回调实现
epoll接口实现 LT/ET的实现

2.5 高性能异步io机制 io_uring

2.5.1 与epoll媲美的io_uring

io_uring系统调用 io_uring_setup, io_uring_register, io_uring_enter
liburng的io_uring的关系
io_uring与epoll性能对比
io_uring的共享内存机制

2.5.2 io_uring的使用场景

io_uring的accept，connect，recv，send实现机制
io_uring网络读写
io_uring磁盘读写
proactor的实现

3. 基础组建设计

3.1 池式组件

3.1.1 手写线程池与性能分析

线程池的异步处理使用场景
线程池的组成 任务队列 执行队列
任务回调与条件等待
线程池的动态防缩
扩展:nginx线程池实现对比分析

3.1.2 内存池的实现与场景分析

内存池的应用场景与性能分析
内存小块分配与管理
内存大块分配与管理
手写内存池，结构体封装与AP|实现
避免内存泄漏的两种万能方法
定位内存泄漏的3种工具
扩展:nginx内存池实现

3.1.3 异步请求池的实现

异步请求处理流程
King式四元组，create.commit.callback, destory
异步请求框架封装
应用协议redis/dns/http请求封装

3.1.4 mysql/redis连接池的实现

连接池性能的影响的2个因素，top连接和mysg|认证
连接请求归还策略
连接超时未归还策略
链接断开重连策略
连接数量最优策略

最详细的Redis通信协议规范
hiredis的使用

3.2 高性能组件

3.2.1 原子操作CAS与锁实现

互斥锁的使用场景与原理
自旋锁的性能分析
原子操作的汇编实现

3.2.2 无锁消息队列实现 RingBuffer

有锁无锁队列性能
内存屏障 Barrier
数组无锁队列设计实现
链表无锁队列设计实现

3.2.3 定时器方案红黑树，时间轮，最小堆

定时器的使用场景定时器的红黑树存储
时间轮的实现最小堆的实现
分布式定时器的实现

3.2.4 手写死锁检测组件

死锁的现象以及原理
pthread mutex_lock/pthread mutex_unlock dlsym的实现
有向图的构建
有向图dfs判断环的存在
三个原语操作 lock before, lock_after, unlock after死锁检测线程的实现

3.2.5 手写内存泄漏检测组件

内存泄漏现象
第三方内存泄漏与代码内存泄漏
malloc与free的dlsym实现
内存检测策略
应用场景测试

3.2.6 手把手实现分布式锁

多线程资源竞争 互斥锁，自旋锁加锁的异常情况
非公平锁的实现
公平锁的实现

3.3 开源组件

3.3.1 libevent/libev框架实战的那些坑

服务端reactor事件封装
libevent接口分析 event_base_new, event_add, event_del, event base loop
memcached网络模块分析
libev的主要数据结构 EV WATCH. EV WATCH LIST
libevent与libev性能对比

3.3.2 异步日志方案log4cpp

日志库性能瓶颈分析
异步日志库设计与实现
批量写入与双缓存冲机制
奔溃后的日志找回

3.3.3 应用层协议设计ProtoBuf/Thrift

IM，云平台，nginx，http，redis协议设计
如何保证消息完整性
手撕protobuf IM通信协议
protobuf序列化与反序列化
protobuf编码原理

3.3.4 Openssl对称加密与非对称加密

openssl的介绍和使用

3.3.5 Json数据解析/Xml解析器和工具包

3.3.6 字符编码Unicode原理及编程实践

4.中间件开发

4.1 Redis

4.1.1 Redis相关命令详解及其原理

string, set, zset, list, hash
分布式锁的实现
lua脚本解决ACID原子性
Redis事务的ACID性质分析

4.1.2 Redis协议与异步方式

Redis协议解析
特殊协议操作 订阅发布
手撕异步redis协议

4.1.3 存储原l理与数据模型

string的三种编码方式 int,raw,embstr
双向链表的list实现
字典的实现，hash函教
解决键冲突与rehash
跳表的实现与数据论证
整数集合实现
压编列表原理证明

4.1.4 主从同步与对象模型

对象的类型与编码
字符串对象
列表对象
哈希对象
集合对象
有序集合
类型检测与命令多态内存回收对象共享
对象空转时长

4.1.5 redis的3种集群方式 主从复制，sentinel，cluster，4种持久化方案

4.2 MySQL

4.2.1 SQL语句，索引，视图，存储过程，触发器

MySQL体系结构，SQL执行流程
SQL CURD与高级查询
视图，触发器，存储过程
MySQL权限管理

4.2.2 MySQL索引原理以及SQL优化

索引，约束以及之间的区别
B+树，聚集索引和辅助索引
最左匹配原则以及舞盖索引
索引失效以及索引优化原则
EXPLAIN执行计划以及优化选择过程分析

4.2.3 MySQL事务原理分析

事务的ACID特性
MySQL并发问题 脏读，不可重复读，幻读
事务隔离级别
锁的类型，锁算法实现以及锁操作对象
S锁 X锁 IS锁 IX锁
记录锁，间隙锁，next-key lock
插入意向锁，自增锁 MVCC原理剖析

4.2.4 MySQL缓存策略

读写分离，连接池的场景以及其局限a
缓存策略问题分析
缓存策略强一致性解决方案
缓存策略最终-致性解决方案
2种mysq|缓存同步方案 从数据库与触发器+udf
缓存同步开源方案go-mysql-transfer
缓存同步开源方案canal原理分析
3种缓存故障，缓存击穿，缓存穿透，缓存雪崩

4.2.5 MySQL集群方案与Replication原理

MySQL 主从复制 分析详解

4.3 Kafka

4.3.1 Kafka使用场景与设计原理

发布订阅模式
点对点消息传递
Kafka Brokers原理
Topics和Partition

4.3.2 Kafka存储机制

Partition存储分布
Partition文件存储机制
Segment文件存储结构
offset查找message
高效文件存储设计

4.4 gRPC

4.4.1 gRPC的内部组件关联

1. ClientSide与ServerSide. Channel.Serivce，Stub的概念
2. 异步gRPC的实现
3. 回调方式的异步调用
4. Server与Client对RPC的实现

4.4.2 基于http2的gRPC通信协议

基于http协议构造
ABNF语法
请求协议 Request-Headers
gRPC上下文传递

4.5 Nginx

4.5.1Nginx反向代理与系统参数配置conf原理

Nginx静态文件的配置
Nginx动态接口代理配置
Nginx对Mqtt协议转发 Nginx对Rtmp推拉流
Openresty对Redis缓存数据代理
shmem的三种实现方式原子操作
nginx channel信号信号量

4.5.2 Nginx过滤器模块实现

Nginx Filter模块运行原理
过滤链表的顺序
模块开发数据结构 ngx_str_t，ngx_list_t，ngx_buf_t，ngx_chain_t
error日志的用法
ngx_comond_t的讲解
ngx_http_module_t的执行流程
文件锁，互斥锁
slab共享内存
如何解决"惊群"问题
如何实现负载均衡

4.5.3 Nginx Hander模块实现

NginxHandler模块运行原理
ngx_module_t/ngx_http_module_t的讲解
ngx_http_top_body_filter/ngx_http_top_header_filter的原理
ngx_rbtree_t的使用方法
ngx_rbtree自定义添加方法
Nginx的核心数据结构 ngx_cycle_t，ngx_event_moule_t

4.5.4 Nginx http状态机流程

http 请求的11个处理阶段
http包体处理
http响应发送
Nginx Upstream机制的设计与实现
模块性能测试

4.6 MongoDB

4.6.1 接口编程与文档操作

4.6.2 集群方案与持久化备份

5.开源框架

5.1 skynet

5.1.1 Skynet设计原理

多核并发编程-多线程，多进程，csp模型，actor模型
actor模型实现-lua服务和c服务
消息队列实现 actor消息调度

5.1.2 skynet网络层封装以及lua/c接口编程

skynet reactor网络模型封装
socket/socketchanne|封装
手撕高性能c服务
lua编程以及lua/c接口编程

5.1.3 skynet重要组件以及手撕游戏项目

基础接口 skynet.send,skynet.call,skynet.response
广播组件 multicastd
数据共享组件 sharedatad datasheet
手撕万人同时在线游戏

5.2 分布式API网关

5.2.1 高性能web网关 Openresty

Nginx与lua模块
Openresty访问Redis，MySQL
Restful API接口开发
Openresty性能分析

5.2.2 Kong 动态负载均衡与服务发现

nginx， openresty，Kong之间的“荀且”
动态负载均衡的原理
服务发现实现的原理
Serverless
监控，故障检测与恢复
代理层缓存与响应服务
系统日志

5.3 DPDK

5.3.1 DPDK环境与testpmd/13fwd/skeletion

DPDK环境参数讲解
多队列网卡的工作原理
CPU亲和性
Burst数据包的优缺点
DPDK轮询模式 异步中断，轮询模式，混合中断轮询模式
virtio与vhost

5.3.2 DPDK的用户态协议栈

内核网络接口 KNI的实现原理
接收线程/发送线程/KNI线程
内存数据结构 rte mbuf，rte mempool
端口数据结构 rte_kni，rte_kni_conf，rte_kni_ops,rte_eth_conf
协议数据结构 rte ether hdrrte ipv4 hdr. rte udp hdr
数据处理接口
rte_eth_rx_burst, rte_kni_tx_burst,rte_pktmbuf_mtod

5.3.3 千万级流量并发的dns处理

udp协议包处理 dns协议实现配置文件解析
数据结构 rte_ring
trex数据包性能测试

5.3.4 高性能数据处理框架vpp

vpp使用vmxnet3
DPDK ACL实现数据过滤
vpp web应用
vpp基础库 VPPInfra
高速查找路由表，CAM表

5.3.5 DPDK的虚拟交换机框架OvS

0vS三大组件 ovs-vswitchd, ovsdb-server, openvswitch.ko
OvS报文处理机制
OvS 4种数据路径
VXLAN数据协议

5.4 高性能计算 CUDA

5.4.1 gpu并行计算cuda的开发流程

cputgpu的异构计算
计算机体系结构中的gpu
cuda的环境搭建 nvcc与srun的使用
cuda的 向量加法与矩阵乘法
MPI与CUDA

5.4.2 音视频编解码中的并行计算

cuda的h264编解码
cuda的mpeg编解码
ffmpeg的cuda支持

5.5 ZeroMQ

5.5.1 消息队列与ZeroMQ的应用

5.5.2 ZeroMQ源码分析:消息模型的实现

5.5.3 ZeroMQ源码分析:网络机制与性能分析

6.云原生

6.1Docker

6.1.1. Docker风光下的内核功能

进程 namespace
Uts namespace
IPC namespace
网络 namespace
文件系统 namesapce
cgroup的资源控制

6.1.2. Docker容器管理与镜像操作

Docker镜像下载与镜像运行
Docker存储管理
Docker数据卷
Docker与容器安全

6.1.3. Docker网络管理

5种Docker网络驱动
pipework跨主机通信
0vS划分vlan与隧道模式
GRE实现跨主机Docker间通信

6.1.4. Docker云与容器编排

Dockerfile的语法流程
编排神器Fig/Compose
Flynn体系架构
Docker改变了什么?

6.2. Kubernetes

6.2.1 k8s环境搭建

k8s集群安全设置
k8s集群网络设置
k8s核心服务配置
kubect|命令工具
yaml文件语法

6.2.2 Pod与Service的用法

Pod的管理配置
Pod升级与回滚
DNS服务之于k8s
http 7层策略与TLS安全设置

6.2.3 k8s集群管理的那些事儿

Node的管理
namespace隔离机制
k8s集群日志管理
k8s集群监控

6.2.4 k8s二次开发与k8s API

RESTful接口
API聚合机制 API组
Go访问k8s API

7.性能分析

7.1 性能与测试工具

7.1.1 测试框架gtest以及内存泄漏检测

googletest与googlemock文件
函数检测以及类测试
test fixture 测试央具
类型参数化事件测试内存泄漏
设置期望，期待参数，调用次数，满足期望

7.1.2 性能工具与性能分析

MySQL性能测试工具 mysqlslap
Redis性能测试工具 redis-benchmark
http性能测试工具wrk
Tcp性能测试工具TCPBenchmarks
磁盘，内存，网络性能分析

7.1.3 火焰图的生成原理与构建方式

火焰图工具讲解
火焰图使用场景与原理
nginx动态火焰图
MySQL火焰图
Redis火焰图

7.2 观测技术bpf与ebpf

7.2.1 内核bpf的实现原理

跟踪，嗅探，采样，可观测的理解
动态hook:kprobe/uprobe
静态hook:tracepoint和USDT
性能监控计时器PMC模式
cpu的观测 taskset的使用
BPF工具 bpftrace, BCC

7.2.2 bpf对内核功能的观测

内存观测 kmalloc与vm_area_struct
文件系统观测 vfs的状态
磁盘io的观测 bitesize. mdflush
bpf对网络流量的统计
bpf对redis-server观测
网络观测 top_connect， top_accept,tcp_close

7.3 内核源码机制

7.3.1 进程调度机制哪些事儿

qemu调试内存
进程调度cfs与其他的四个调度类
task_struct结构体
RCU机制与内存优化屏障

7.3.2 内核内存管理运行机制

虚拟内存地址布局
SMP/NUMA模型
页表与页表缓存原理
伙伴系统实现
块分配(Slab/Slub/Slob)原理实现
brk/kmalloc/vmalloc系统调用流程

7.3.3 网卡nic与网络协议栈的关系

数据包sk_buff
eth0与net_device的明暗关系
nic的数据接收与发送
nic子系统中的mmap

7.3.4 文件系统组件

虚拟文件系统vfs Proc文件系统
super_block与inode结构体
文件描述符与挂载流程

7.4 设备驱动

7.4.1 实现进程间通信组件

7.4.2 块设备运行原理

7.4.3 虚拟网络适配器的实现

8.分布式架构

8.1 RocksDB

8.1.1 不一样的kv存储RocksDB的使用场景

前缀搜索
低优先级写入
生存时间的支持
Transactions
快照存储
日志结构的教据库引擎

8.1.2 RocksDB的特殊操作

SST文件格式日志与监控数据压缩
huge page TLB的支持
MemTable的两种实现Skiplist与HashSkiplist
Lua的支持

8.2 云原生分布式数据库 TiDB

8.2.1 TiDB存储引擎的原理

TiKV的Key-Value存储引擎基于RBAC的权限管理数据加密

8.2.2 TiDB集群方案与Replication原理

集群三个组件 TiDB Server，PD Server, TiKV Server
Raft协议讲解
OLTP与OLAP

8.3 分布式服务

8.3.1 内核级支持的分布式存储Ceph

ceph的集群部署 monitor与OSD
ceph 5个核心组件
ceph集群监控
ceph性能调调优与benchmark

8.3.2 注册服务中心Etcd

etod配置服务、服务发现、集群监控、leader选举、分布式锁
etod体系结构详解(gRPC，WAL，Snapshot、BoltDB、Raft)
etcd存储原理深入剖析(B树、B+树)
etod读写机制以及事务的acid特性分析
raft共识算法详解(leader选举+日志复制)

9.上线项目实战

9.1 图床共享云存储

9.1.1 fastdfs架构分析和配置

fastdfs架构分析
快速配置fastdfs
上传文件逻辑分析
下载文件逻辑分析

9.1.2 fastdfs存储原理

tracker，storage分析
存储机制
支持断点续传
相同文件内容只保存一份

9.1.3 分布式fastdfs存储集群部署

同步机制线性扩容
如何实现高可用
负载均衡

9.1.4 高负载nginx/fastcgi

fastdfs-nginx-module模块分析
fastcgi请求与响应
nginx与fastcgi如何通信
nginx-fastcgi-fastdfs如何实现上传下载

9.1.5 文件传输和接口设计

http接口设计
图床数据库设计
图床文件上传，下载，分享功能实现
业务流程实现

9.1.6 产品上云公网发布/测试用例

使用云服务器的各种坑分析
fiddler监控http请求，postman模拟请求
wrk测试接口吞吐量
jmeter压力测试

9.2 微服务即时通讯

9.2.1M即时通讯项目柜架分析和部界

接入层、逻辑层、持久层架构划分
消息实时性分析
即时通讯数据库设计
单聊、群聊消息原理
群成员管理未读消息原理
池化技术的使用
快速配置IM项目

9.2.2 IM消息服务器/文件传输服务器

protobuf通信协议设计数据库分表设计
reactor百万并发模型
login_server负载均衡
登录请求响应模型

9.2.3 消息服务器/路由服务器

请求登陆逻辑
最近联系会话逻辑
查询用户在线主题
未读消息机制
单聊消息推拉机制
群聊消息推拉机制
路由转发机制

9.2.4 数据库代理服务器设计

main函数主流程响应流程 redis缓存
消息计数(单聊和群聊)
未读消息机制
群成员管理
单聊群聊

9.2.5 文件服务器和docker部署

在线文件传输机制分析
离线文件传输机制分析
etcd微服务注册与发现
docker制作与部署

9.2.6 产品上云公网发布/公网测试上线

单元测试案例
testbench如何设计
IM项目性能压测
定制私有功能云服务器部等
————————————————
版权声明：本文为CSDN博主「Linux后台开发狮」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/m0_58687318/article/details/126432351