网络缓存基础知识：

目录 

1基本概念

边缘计算是什么：

边缘服务器：

内容分发网络(Content Delivery Network)

---

1基本概念

边缘计算是什么：

边缘计算是指在靠近物或数据源头的一侧，采用网络，计算，存储，应用核心能力为一体的开放平台，就近提供最近端服务。

边缘计算特点：低延迟，大带宽，自定义，高效能，高安全。

4类行业玩家：云计算厂商，专业服务厂商，电信运营商，设备及芯片厂商。

大型企业：人工智能，大视频，智能交通，智能制造。

边缘计算如图

边缘服务器：

边缘服务器是为用户提供进入网络的通道和其它服务器设备通信的功能，通常是一组完成单一功能的服务器，如高速缓存服务器，DNS服务器等。

如在物联网上，边缘服务器意味着许多控制将通过本地设备实现而不需要交由云端，处理过程将在本地边缘计算层完成。这将提高处理效率，减轻云端的负荷。由于更加靠近用户，将为用户提供更快的响应，将需求在边缘端解决。

内容分发网络(Content Delivery Network)

在一次网络请求中，在浏览器输入一个网址，DNS服务器会将域名的解析权交给指向的CDN专用DNS服务器。接着，专用DNS服务器返回CDN负载均衡集群的ip地址。负载均衡设备根据设置好的策略，来选择相应的CDN缓存服务器，并返回IP地址。最后客户对缓存服务器发起请求。缓存服务器相应用户请求，返回相应内容。如果这台服务器没有命中，那么它将会继续请求它的上一级缓存服务器，直至追溯至源站服务器，将内容拉到本地。

简单讲，CDN是一种提高用户访问速度的技术。

核心网(Evolved Packet Core,EPC)：

把移动网络划分三个部分有基站子系统，网络子系统和系统支撑部分。核心网就是位于网络子系统。

核心网作用是负责管理数据，对数据进行分发。对数据的处理和分发是"路由交换"，这是核心网的本质。

 数据中心：

数据中心可以是建筑物或者建筑物的一部分，主要用于设置计算机房及其支持空间。数据中心内放置核心的数据处理设备。数据能够保障业务的顺畅运行和服务的及时提供。

强化学习中的off-policy和on-policy

强化学习分成off-policy(离线)和on-policy(在线)两种学习方法，按照其理解，判断强化学习是off-policy还是on-policy的依据在于生成样本的policy（value-funciton）和网络参数更新时的policy（value-funciton）是否相同。

off-policy的经典算法有Q-learning，on-policy的经典算法有SARSA。这两个算法的流程基本一致，唯一不同在于Q函数的更新。

Q-learning在计算下一状态的预期收益时使用了max操作，直接选择最优动作，而当前policy并不一定能选择到最优动作，因此这里生成样本的policy和学习时的policy不同，为off-policy算法；

而SARAS则是基于当前的policy直接执行一次动作选择，然后用这个样本更新当前的policy，因此生成样本的policy和学习时的policy相同，算法为on-policy算法。

LRU原理：

该算法根据内容的历史请求量来淘汰数据，其核心方法是如果内容最近被请求过，那么将来被请求的概率也更高。可以使用一个链表保存缓存内容文件，步骤如下：

 步骤过程：

1.新的请求内容插入到文件库头部；

2.每当缓存命中，则将内容文件移到文件库头部。

3.当文件库满的时候，则将链表尾部的内容丢弃。

LRU-k原理：

相比LRU,LRU-k需要多维护一个队列，用于记录所有缓存数据被请求的历史次数。只有当数据的请求次数达到k次的时候，才将数据放入缓存文件库里，当需要淘汰内容文件时，LRU-k会淘汰第k次请求时间距当前时间最大的数据。也可以是淘汰距离当前已超过N时隙的请求文件。

 步骤流程：

1.内容文件第一次被请求，加入到请求历史列表;

2.如果数据在请求历史文件库没有达到第k次请求，则按照一定规则(LRU)淘汰。

3.当请求历史队列的内容文件请求次数达到k次后，将内容文件索引从历史队列删除，将内容文件移到缓存队列中，并缓存此数据，缓存队列重新按照时间排序。

4.缓存内容文件队列中被再次访问后，重新排序。

5.需要淘汰内容文件时，淘汰缓存队列排在末尾的内容文件，即淘汰倒数第k次请求距离现在最久的内容文件。

LRU-K具有LRU的优点，同时能够避免LRU的缺点，实际应用中LRU-2是综合各种因素后最优的选择。