a410974689的博客

C/C++Linux后台服务器开发高级架构师内容包括C/C++，Linux，Nginx，ZeroMQ，MySQL，Redis，MongoDB，ZK，流媒体，音视频开发，Linux内核，TCP/IP，协程，DPDK多个高级知识点。

Redis主从模式中，一个高可用的Redis服务由一个Redis主节点（Master，后续简称为主节点）和若干Redis从节点（Slave，后续简称为从节点）组成。Redis中采用读写分离来保证主节点和从节点之间的数据一致性，具体实现如下。主节点支持数据写入和数据读取，从节点只支持数据读取；主节点会与从节点之间执行主从数据同步，以保证主节点数据与从节点数据一致。主从数据同步分为如下几种情况。从节点与主节点建立连接时进行全量同步；主节点与从节点正常运行时的同步；

(1). 定义指多个对象间存在一对多的依赖关系，当一个对象的状态发生改变时，所有依赖于它的对象都得到通知并被自动更新。这种模式有时又称作发布-订阅模式模型-视图模式，它是对象行为型模式。PS: 观察者模式是 【1对多】的关系，后面的中介者模式是 【多对多】的关系。(2). 优点：A. 降低了目标与观察者之间的耦合关系，两者之间是抽象耦合关系。B. 目标与观察者之间建立了一套触发机制。(3). 缺点：A. 目标与观察者之间的依赖关系并没有完全解除，而且有可能出现循环引用。

(1). 定义是一种通过为多个复杂的子系统提供一个一致的接口，而使这些子系统更加容易被访问的模式。该模式对外有一个统一接口，外部应用程序不用关心内部子系统的具体的细节，这样会大大降低应用程序的复杂度，提高了程序的可维护性。(2). 优点A. 降低了子系统与客户端之间的耦合度，使得子系统的变化不会影响调用它的客户类。B. 对客户屏蔽了子系统组件，减少了客户处理的对象数目，并使得子系统使用起来更加容易。

(1). 定义：为了避免请求发送者与多个请求处理者耦合在一起，将所有请求的处理者通过前一对象记住其下一个对象的引用而连成一条链；当有请求发生时，可将请求沿着这条链传递，直到有对象处理它为止。PS：责任链模式也叫职责链模式。在责任链模式中，客户只需要将请求发送到责任链上即可，无须关心请求的处理细节和请求的传递过程，所以责任链将请求的发送者和请求的处理者解耦了。(2). 优点：A. 降低了对象之间的耦合度。

(1). 定义：指在不改变现有对象结构的情况下，动态地给该对象增加一些职责（即增加其额外功能）的模式，它属于对象结构型模式。(2). 优点：A. 采用装饰模式扩展对象的功能比采用继承方式更加灵活。B.可以设计出多个不同的具体装饰类，创造出多个不同行为的组合。(3). 缺点装饰模式增加了许多子类，如果过度使用会使程序变得很复杂。(1). 定义：由于某些原因需要给某对象提供一个代理以控制对该对象的访问。这时，访问对象不适合或者不能直接引用目标对象，代理对象作为访问对象和目标对象之间的中介。

(1). 值类型有更好的效率，但不支持多态，适合用作存储数据的载体。而引用类型支持多态，适合用于定义程序的行为。(2). 引用类型可以派生新的类型，而值类型不能。定义如下：用一个已经创建的实例作为原型，通过复制该原型对象来创建一个和原型相同或相似的新对象。在这里，原型实例指定了要创建的对象的种类。用这种方式创建对象非常高效，根本无须知道对象创建的细节。例如，Windows 操作系统的安装通常较耗时，如果复制就快了很多。

(1). 定义：有时又叫作部分-整体模式，它是一种将对象组合成树状的层次结构的模式，用来表示“部分-整体”的关系，使用户对单个对象和组合对象具有一致的访问性。(2). 优点：A. 组合模式使得客户端代码可以一致地处理单个对象和组合对象，无须关心自己处理的是单个对象，还是组合对象，这简化了客户端代码；B. 更容易在组合体内加入新的对象，客户端不会因为加入了新的对象而更改源代码，满足“开闭原则”；(3). 缺点A. 设计较复杂，客户端需要花更多时间理清类之间的层次关系；B. 不容易限制容器中的构件。

(1) 定义：该模式定义了一系列算法，并将每个算法封装起来，使它们可以相互替换，且算法的变化不会影响使用算法的客户。策略模式属于对象行为模式，它通过对算法进行封装，把使用算法的责任和算法的实现分割开来，并委派给不同的对象对这些算法进行管理。(2) 优点：A. 多重条件语句不易维护，而使用策略模式可以避免使用多重条件语句。B. 策略模式提供了一系列的可供重用的算法族，恰当使用继承可以把算法族的公共代码转移到父类里面，从而避免重复的代码。

(1) 定义：是一种为访问类提供一个创建一组相关或相互依赖对象的接口，且访问类无须指定所要产品的具体类就能得到同族的不同等级的产品的模式结构。抽象工厂模式是工厂方法模式的升级版本，工厂方法模式只生产一个等级的产品，而抽象工厂模式可生产多个等级的产品。抽象工厂需要满足下面条件：A. 系统中有多个产品族，每个具体工厂创建同一族但属于不同等级结构的产品。B. 系统一次只可能消费其中某一族产品，即同族的产品一起使用。(2).优点。

综上所述，单线程架构是Redis团队经过时间考验的深思熟虑的选择。尽管是单线程的，Redis 仍然是性能最高和最常用的内存数据存储之一。原文链接：单线程 Redis 如此之快的 4 个原因。

满足下列条件的二叉搜索树是红黑树每个结点要么是“红色”，要么是“黑色”所有的叶结点都是空结点，并且是“黑色”的。如果一个结点是“红色”的，那么它的两个子结点都是“黑色”的。(注:也就是說，如果結點是黑色的，那么它的子節點可以是紅色或者是黑色的)。结点到其子孙结点的每条简单路径都包含相同数目的“黑色”结点根结点永远是“黑色”的之所以称为红黑树的原因就在于它的每个结点都被“着色”为红色或黑色。这些结点颜色被用来检测树的平衡性。

Nginx再次回顾也许你已经忘记了Nginx是做什么的？我来再次给你夯实一下概念。多协议反向代理Nginx是个高性能的Web和反向代理服务器及HTTP服务器，它能反向代理HTTP，HTTPS和邮件相关(SMTP，POP3，IMAP)的协议链接，还可以提供了负载均衡以及HTTP缓存。

如果有人问你："你会把 Redis 用在什么业务场景下？"我想你大概率会说："我会把它当作缓存使用，因为它把后端数据库中的数据存储在内存中，然后直接从内存中读取数据，响应速度会非常快。"没错，这确实是 Redis 的一个普遍使用场景，但是，这里也有一个绝对不能忽略的问题：一旦服务器宕机，内存中的数据将全部丢失。目前，Redis 的持久化主要有两大机制，即 AOF（Append Only File）日志和 RDB（Redis DataBase） 快照。说到日志，我们比较熟悉的是数据库的写前日志（Write A

今天，我们介绍了 MySQL 数据库主从复制过程中可能会遇到的一些问题。其中最主要的就是 binlog 日志在 STATEMENT 类型下有着存储数据量小的优点，但是也有导致数据不一致的情况；ROW 类型能够有效地解决数据不一致这种情况，但是也有存储数据量大这一缺点；MySQL 数据库结合前面两种类型的优点，又为我们提供了一个 mixed 类型。在日常的生产环境中，常用的 binlog 日志类型就是 mixed 类型。原文链接：MySQL 中主从之间是怎样保证数据一致的呢？

我们可以看到的是查询数据的时候报了一个 1146 的错误，这是因为 INnoDB 存储引擎中的数据表是需要在 MySQL 数据库的数据字典中注册的，我们直接将数据文件复制过去的时候并没有在数据字典中注册，换句话说就是在把数据复制过去之后，还需要在数据字典中注册数据库系统才能正常识别。文件迁移的方式其实也算是逻辑迁移的范畴，它主要通过命令将数据保存在文件中，然后再导入数据库即可，这种迁移方式是不会迁移表结构的，所以在导入数据之前需要手动创建表结构，其原理跟逻辑迁移的方式相同。这种迁移方式主要适用于。

LSM 树（Log-Structured-Merge-Tree) 日志结构合并树由 Patrick O’Neil 等人在论文《The Log-Structured Merge Tree》(www.cs.umb.edu/~poneil/lsm…LSM 树的核心特点是利用顺序写来提高写性能，代价就是会稍微降低读性能（读放大），写入量增大（写放大）和占用空间增大（空间放大）。

Rockscache 也是一种保持缓存一致性的方法，它采用的缓存管理策略是：更新数据库后，将缓存标记为删除。

MySQL提供了多种字符集和排序规则选择，其中字符集设置和数据存储以及客户端与MySQL实例的交互相关，排序规则和字符串的对比规则相关(1). 字符集的设置可以在MySQL实例、数据库、表、列四个级别(2). MySQL设置字符集支持在InnoDB, MyISAM, Memory三个存储引擎(3). 查看当前MySQL支持的字符集的方式有两种，一种是通过查看information_schema.character_set系统表，一种是通过命令【 show character set;】查看。

OpenResty 通过实现 ngx_lua 和 stream_lua 等 Nginx 模块，把 Lua/LuaJIT 完美地整合进了 Nginx，从而让我们能够在 Nginx 内部里嵌入 Lua 脚本，用 Lua 语言来实现复杂的 HTTP/TCP/UDP 业务逻辑，同时依然保持着高度的并发服务能力。这边推荐使用 xxx_by_lua_file，它彻底分离了配置文件与业务代码，让两者可以独立部署，而且文件形式也让我们更容易以模块的方式管理组织 Lua 程序。

在说IO多路复用模型之前，我们先来大致了解下Linux文件系统。在Linux系统中，不论是你的鼠标，键盘，还是打印机，甚至于连接到本机的socket client端，都是以文件描述符的形式存在于系统中，诸如此类，等等等等，所以可以这么说，一切皆文件。来看一下系统定义的文件描述符说明：从上面的列表可以看到，文件描述符0,1,2都已经被系统占用了，当系统启动的时候，这三个描述符就存在了。其中0代表标准输入，1代表标准输出，2代表错误输出。当我们创建新的文件描述符的时候，就会在2的基础上进行递增。

本文所介绍的内网穿透技术相关的实现方式其实在我们的日常开发生活中有更多的使用场景，当我们深入了解了当前 IP 地址以及内外网的实现方式后，我们不难发现，当我们将内网穿透的图片稍加修改后就成为了我们常用的另一种功能的实现方式(VPN实现原理)：原文作者：内网穿透你真的了解吗？- 掘金。

存储引擎是 MySQL 中具体与文件打交道的子系统，它是根据 MySQL AB 公司提供的文件访问层抽象接口定制的一种文件访问机制，这种机制就叫作存储引擎，下面是一些常用的存储引擎，有远古时期的 MyISAM、支持事务的 InnoDB、内存类型的 Memory、归档类型的 Archive、列式存储的 Infobright，以及一些新兴的存储引擎，以 RocksDB 为底层基础的 MyRocks 和 RocksDB，和以分形树索引组织存储的 TokuDB。InnoDB 支持外键，MyISAM 不支持；

(1). 客户端分片方案A. 哈希取模：hash（key）% N，hash代表一种散列算法，N代表redis服务器的数量。这种算法实现起来非常简单，但是缺点也是非常明显的，当服务器数量N增加或者减少的时候，原先的缓存数据定位几乎失效，缓存数据定位失效意味着要到数据库重新查询，这对于高并发的系统来说是致命的。B. 一致性哈希算法：将key和server都进行hash，分配在闭环上，采用临近原则，key 找 离它最近的server节点进行存储。

消息中间件是指在分布式系统中完成消息的发送和接收的基础软件。消息中间件也可以称消息队列（Message Queue / MQ），用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息队列模型，可以在分布式环境下扩展进程的通信。简而言之，互联网场景中经常使用消息中间件进行消息路由、订阅发布、异步处理等操作，来缓解系统的压力。

理解好RabbitMQ 中 Broker 存储的组成要素 CommitLog，ConsumeQueue，IndexFile。当 Broker 收到消息存储请求时，通过调用 CommitLog 对应的 MappedFile，把消息写入MappedFile的MeppedByteBuffer（内存映射）。

含义：内层溢出通俗理解就是内存不够，程序要求的内存超出了系统所能分配的范围。危害：内存溢出错误会导致处理数据的任务失败，甚至会引发平台崩溃等严重后果。应用程序CPU使用率高，甚至超过100%死锁是指两个或两个以上的进程在执行过程中，由于竞争资源或者由于彼此通信而造成的一种阻塞的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程称为死锁进程。Java 里的 StackOverflowError。抛出这个错误表明应用程序因为深递归导致栈被耗尽了。

背景：我们目前使用的所有集合都是线程不安全的。：就是利用线程槽来分摊Bag中的所有数据，链表的头插法,0代表移除最后一个插入的值.(等价于同步中的List)：线程安全的Stack是使用Interlocked来实现线程安全, 而没有使用内核锁.(等价于同步中的数组): 队列的模式，先进先出(等价于同步中的队列): 字典的模式(等价于同步中的字典)以上四种安全的并发集合类，也可以采用同步版本+Lock锁(或其它锁)来实现。

1. 多线程并发读/写同一个TCP socket是线程安全的，因为TCP socket的读/写操作都上锁了。虽然线程安全，但依然不建议你这么做，因为TCP本身是基于数据流的协议，一份完整的消息数据可能会分开多次去写/读，内核的锁只保证单次读/写socket是线程安全，锁的粒度并不覆盖整个完整消息。因此建议用一个线程去读/写TCP socket。2. 多线程并发读/写同一个UDP socket也是线程安全的，因为UDP socket的读/写操作也都上锁了。

三种缓存模式优缺点：Cache Aside 更新模式实现起来比较简单，但是需要维护两个数据存储，一个是缓存（Cache），一个是数据库（Repository）。Read/Write Through 更新模式只需要维护一个数据存储（缓存），但是实现起来要复杂一些。

顺序表，全名"顺序存储结构"，是线性表的一种。我们知道线性表是用来存储逻辑关系为 "一对一" 的数据，顺表也不例外。顺序表存储数据时，会提前申请一整块足够大小的物理空间，然后将数据依次存储起来，存储时做到数据元素之间不留一丝缝隙。例如，使用顺序表存储集合 {1,2,3,4,5}，数据最终的存储状态如下图：由此我们可以得出，将“具有 '一对一' 逻辑关系的数据按照次序连续存储到一整块物理空间上”的存储结构就是顺序存储结构。顺序表存储数据同数组非常接近。其实，顺序表存储数据使用的就是数组。

现在，我们知道啦，Redis 为什么快了吧。Redis 单线程是指在网络 I/O 和 键值的读写操作是有一个线程来完成的，采用单线程的好处是避免了多线程并发需要竞争获取锁。单线程之所以性能高效是因为其选择了 I/O 多路复用模型。搞懂了 select/epoll 这这些，慢慢会发现自己会逐渐比身边的伙伴优秀一些。原文链接：https://juejin.cn/post/7170712250880606221。

在Redis中，一个字符串最大512MB，一个二级数据结构（例如hash、list、set、zset）可以存储大约40亿个(2^32-1)个元素，但实际中如果下面两种情况，我就会认为它是bigkey。(1). 字符串类型：它的big体现在单个value值很大，一般认为超过10KB就是bigkey。(2). 非字符串类型：哈希、列表、集合、有序集合，它们的big体现在元素个数太多。一般来说，string类型控制在10KB以内，hash、list、set、zset元素个数不要超过5000。

　Redis 提供了 RDB 和 AOF 两种持久化方式，默认开启的是RDB，如果需要AOF，需要手动修改配置文件进行开启。　RDB：是一种对Redis存在内存中的数据周期性的持久化机制，将内存中的数据以快照的形式硬盘，实质上是fork了一个子进程在执行数据存储，采用的是二进制压缩的存储模式。如图：　AOF：是以文本日志的形式记录Redis的每一个写入、删除请求（查询请求不处理），它是以追加的方式（append-only）写入，没有磁盘寻址的开销，所以写入速度非常快（类似mysql的binlog）。如图：(

(1). 原子性一个事务(transaction)中的所有操作，要么全部完成，要么全部不完成，不会结束在中间某个环节。事务在执行过程中发生错误，会被恢复(Rollback)到事务开始前的状态，就像这个事务从来没有执行过一样。　Redis的事务并不是我们传统意义上理解的事务，我们都知道 单个 Redis 命令的执行是原子性的，但 Redis 没有在事务上增加任何维持原子性的机制，所以 Redis 事务的执行并不是原子性的。事务可以理解为一个打包的批量执行脚本，但批量指令并非原子化的操作，中间某条指令的失败不会

(1). 宿主机：centos 8.0(2). Redis源码：【压缩包： redis-5.0.0.tar.gz】 需要自行编译。 (PS：这个压缩包可以直接Centos系统中在线下载 或者去Redis官网先下载，然后copy到Centos系统中)下载地址：　　官网：https://redis.io/　　中文版：http://www.redis.cn/注：Redis的安装需要下载源码，自行准备环境，进行编译安装。(3). gcc环境：redis是C语言开发的，安装redis需要先将官网下载的源码进行编译，编

 1个web程序：部署在7061端口，启动 【dotnet NginxWeb.dll --urls="http://*:7061" --ip="127.0.0.1" --port=7061】Nginx程序：监听7000端口 比如单独启动部署在7061端口下的web程序，进行访问，我们会发现，除了请求的加载，还有很多静态 css、js、图片等资源的加载，这些资源的加载也是占服务器带宽的，假设带宽为1m，几个大图片直接就占满了。所以这里引入动静分离，将静态资源单独隔离出来，不占据主服务器的带宽，同时也有利于静态

典型的Key-Value集合，如果要存实体，需要序列化成字符串，获取的时候需要反序列化一下。

我们平时所说的：聚集索引(主键索引)，次要索引，覆盖索引，复合索引，前缀索引，唯一索引在MySQL5.7和 8.0版本默认都是使用索引，除此之外还有。至于MySQL5.7之前版本，这里就不过多探究了。

存储数据元素时，除了存储数据元素本身的信息外，还有一个指针，指向他的后继节点，最后一个元素的指针不指向任何元素。：在单链表的基础上加一个前驱指针，指向前一个元素，是链表可以双向查找，这种结构成为双链表。：将链表最后一个节点的指针指向第一个节点，这样就形成了一个环，这种数据结构叫做单向循环列表.另外还有双向循环列表.