低延时系统设计+高并发方案

为什么要低延时？
发出交易信号，交易成交越早，越能赚到钱。
所以对低延时要求比较高，吞吐量反而要求低，因为交易所对报单数量有限制。

延迟：计算机接收到刺激，到进行响应的时间间隔。（比如：客户提交订单，外部市场行情数据等）
低延迟：就是尽可能缩短这个时间间隔。
交易延迟：主要包括网络延迟、协议延迟、操作系统延迟、应用延迟等。

1.网络延迟：
交易系统下单，经过网络到达交易所撮合主机，中间经过多个网络设备、交换机、路由器和防火墙等，网络存在延迟。
（1）数据序列化延迟：
（2）传输延迟：
（3）排队延迟：
2.协议延迟：
3.操作系统延迟：
4.应用延迟： 交易系统可以自己控制的。
（1）磁盘访问，导致延迟：内存数据库、或者固态存储SSD来降低IO延迟。
（2）进程间通信，导致延迟：采用RDMA降低进程间通信成本。
（3）数据计算，导致延迟：FPGA, GPU等技术来加速数据计算过程。
（4）数据锁等共享资源访问等待，导致延迟。使用非阻塞的数据管理系统，或者使用更小粒度的锁。

延迟的衡量指标：
1.平均延时（一个点，到另一个点之间的平均时间），越低越好。
2.延迟抖动（每次实际延迟，和平均延迟之间的偏差）
3.吞吐量：低延迟下，尽可能高的吞吐量。

低延迟网络构建：
1.转发时延优化和压缩：足够低延时的交换机。
2.网络架构：尽可能减少网络层数，水平、易扩展的分布式架构。
3.传输延时优化：高速的光纤。
4.低延迟，高带宽的网卡。
5.提升网络带宽。

---

高并发的一些方案：
1.线程池，既然要并发，提前准备好一堆线程，随时去处理请求。
比较经典的就是内存池的设计是SGI STL内存分配器：
C++ STL中的线程池分配：
std::allocator：默认分配器
__pool_alloc ：SGI内存池分配器
__mt_alloc ： 多线程内存池分配器
array_allocator ： 全局内存分配，只分配不释放，交给系统来释放
malloc_allocator ：堆std::malloc和std::free进行的封装

2.缓存技术，
用一个更快的存储设备存储一些经常用到的数据，供用户快速访问。redis纯内存这种。
减少与慢设备的交互，提高访问效率。

3.扩容
水平扩容，垂直扩容。

4.限流：
（1）对用户请求做一些校验，从而减少无关、冗余，非必要的请求；
（2）用消息队列，保存一些不是那么及时的请求，实现异步处理。 （可以实现削峰填谷，只管和消息队列交互，慢慢来消费） 可以处理高峰期流量压力。

5.负载均衡
平衡各个服务节点之间的压力。

6.读写分离
（主服务器负责写，副本负责读）

7.冷热分离

8.分库、分表，一般分布式系统都会做的。

9.优化锁的使用。

---

分布式系统中，高并发下如何做到低延时？？
1.架构层面…

2.代码处理逻辑层面。。