有些问题之前压根没看到过 可能一直注意其他方面,这方面知识比较少
大部分资料都来自网上
LRU
LRU(Least recently used,最近最少使用)算法根据数据的历史访问记录来进行淘汰数据,其核心思想是“如果数据最近被访问过,那么将来被访问的几率也更高”
实现方法
1.用一个数组来存储数据,给每一个数据项标记一个访问时间戳,每次插入新数据项的时候,先把数组中存在的数据项的时间戳自增,并将新数据项的时间戳置为0并插入到数组中。每次访问数组中的数据项的时候,将被访问的数据项的时间戳置为0。当数组空间已满时,将时间戳最大的数据项淘汰。
2.利用一个链表来实现,每次新插入数据的时候将新数据插到链表的头部;每次缓存命中(即数据被访问),则将数据移到链表头部;那么当链表满的时候,就将链表尾部的数据丢弃。
3.利用链表和hashmap。当需要插入新的数据项的时候,如果新数据项在链表中存在(一般称为命中),则把该节点移到链表头部,如果不存在,则新建一个节点,放到链表头部,若缓存满了,则把链表最后一个节点删除即可。在访问数据的时候,如果数据项在链表中存在,则把该节点移到链表头部,否则返回-1。这样一来在链表尾部的节点就是最近最久未访问的数据项。
对于第一种方法,需要不停地维护数据项的访问时间戳,另外,在插入数据、删除数据以及访问数据时,时间复杂度都是O(n)。对于第二种方法,链表在定位数据的时候时间复杂度为O(n)。所以在一般使用第三种方式来是实现LRU算法。
第三种:
使用LinkedHashMap实现
LinkedHashMap底层就是用的HashMap加双链表实现的,而且本身已经实现了按照访问顺序的存储。此外,LinkedHashMap中本身就实现了一个方法removeEldestEntry用于判断是否需要移除最不常读取的数,方法默认是直接返回false,不会移除元素,所以需要重写该方法。即当缓存满后就移除最不常用的数。
当存在热点数据时,LRU的效率很好,但偶发性的、周期性的批量操作会导致LRU命中率急剧下降,缓存污染情况比较严重。
比较好的图 https://www.jianshu.com/p/74a4efacb0a7

LRU 存储是基于双向链表实现的,下面的图演示了它的原理。其中 head 代表双向链表的表头,tail 代表尾部。首先预先设置 LRU 的容量,如果存储满了,可以通过 O(1) 的时间淘汰掉双向链表的尾部,每次新增和访问数据,都可以通过 O(1)的效率把新的节点增加到对头,或者把已经存在的节点移动到队头。
下面展示了,预设大小是 3 的,LRU存储的在存储和访问过程中的变化。为了简化图复杂度,图中没有展示 HashMap部分的变化,仅仅演示了上图 LRU 双向链表的变化。我们对这个LRU缓存的操作序列如下:
save(“key1”, 7)
save(“key2”, 0)
save(“key3”, 1)
save(“key4”, 2)
get(“key2”)
save(“key5”, 3)
get(“key2”)
save(“key6”, 4)
相应的 LRU 双向链表部分变化如下:

总结一下核心操作的步骤:
save(key, value),首先在 HashMap 找到 Key 对应的节点,如果节点存在,更新节点的值,并把这个节点移动队头。如果不存在,需要构造新的节点,并且尝试把节点塞到队头,如果LRU空间不足,则通过 tail 淘汰掉队尾的节点,同时在 HashMap 中移除 Key。
get(key),通过 HashMap 找到 LRU 链表节点,因为根据LRU 原理,这个节点是最新访问的,所以要把节点插入到队头,然后返回缓存的值。
查找用hashmap 维护开始结尾用双向链表
一个由c/C++编译的程序占用的内存分为以下几个部分
1、栈区(stack)— 由编译器自动分配释放 ,存放函数的参数值,局部变量的值等。其操作方式类似于数据结构中的栈。
2、堆区(heap) — 一般由程序员分配释放, 若程序员不释放,程序结束时可能由OS回收 。注意它与数据结构中的堆是两回事,分配方式倒是类似于链表,呵呵。
3、全局区(静态区)(static)—,全局变量和静态变量的存储是放在一块的,初始化的全局变量和静态变量在一块区域, 未初始化的全局变量和未初始化的静态变量在相邻的另一块区域。 - 程序结束后有系统释放
4、文字常量区—常量字符串就是放在这里的。 程序结束后由系统释放
5、程序代码区—存放函数体的二进制代码。
队列先进先出(FIFO)
优先队列
最大优先队列,无论入队顺序,当前最大的元素优先出队。
最小优先队列,无论入队顺序,当前最小的元素优先出队。
用堆排可以实现;
1、堆栈空间分配区别
栈(操作系统):由操作系统(编译器)自动分配释放 ,存放函数的参数值,局部变量的值等。其操作方式类似于数据结构中的栈。
堆(操作系统): 一般由程序员分配释放, 若程序员不释放,程序结束时可能由OS回收,分配方式倒是类似于链表。
2、堆栈缓存方式区别
栈使用的是一级缓存, 它们通常都是被调用时处于存储空间中,调用完毕立即释放。
堆则是存放在二级缓存中,生命周期由虚拟机的垃圾回收算法来决定(并不是一旦成为孤儿对象就能被回收)。所以调用这些对象的速度要相对来得低一些。
3、堆栈数据结构区别
堆(数据结构):堆可以被看成是一棵树,如:堆排序。
栈(数据结构):一种先进后出的数据结构。
生产者消费者模式知识点
一、生产者—消费者模式介绍
生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯,而通过阻塞队列来进行通讯,所以生产者生产完数据之后不用等待消费者处理,直接扔给阻塞队列,消费者不找生产者要数据,而是直接从阻塞队列里取,阻塞队列就相当于一个缓冲区,平衡了生产者和消费者的处理能力。这个阻塞队列就是用来给生产者和消费者解耦的。
二、为什么要使用生产者和消费者模式
在线程世界里,生产者就是生产数据的线程,消费者就是消费数据的线程。在多线程开发当中,如果生产者处理速度很快,而消费者处理速度很慢,那么生产者就必须等待消费者处理完,才能继续生产数据。同样的道理,如果消费者的处理能力大于生产者,那么消费者就必须等待生产者。为了解决这种生产消费能力不均衡的问题,所以便有了生产者和消费者模式。
三、生产者消费者模型的实现
生产者是一堆线程,消费者是另一堆线程,内存缓冲区可以使用List数组队列,数据类型只需要定义一个简单的类就好。关键是如何处理多线程之间的协作。在这个模型中,最关键就是内存缓冲区为空的时候消费者必须等待,而内存缓冲区满的时候,生产者必须等待(使用wait()和notifyAll()来实现通知与等待)。其他时候可以是个动态平衡。值得注意的是多线程对临界区资源的操作时候必须保证在读写中只能存在一个线程,所以需要设计锁的策略。
// operator_system.cpp: 定义控制台应用程序的入口点。
//
#include "stdafx.h"
#include<iostream>
#include <mutex>
#include <condition_variable>
#include <windows.h>
#include <thread>
using namespace std;
static const int buffer_size = 10; // 缓存大小
static const int item_total = 100; //总共要生产 item_total个item
// 缓存结构体, 使用循环队列当做缓存
struct Buffer
{
int buffer[buffer_size];
size_t read_position; // 当前读位置
size_t write_position; // 当前写位置
mutex mtx; // 读写互斥
//条件变量
condition_variable not_full;
condition_variable not_empty;
}buffer_res;
typedef struct Buffer Buffer;
void porduce_item(Buffer *b, int item)
{
unique_lock<mutex> lock(b->mtx);//设置互斥锁
while(((b->write_position + 1) % buffer_size) == b->read_position) {
//当前缓存已经满了
cout << "buffer is full now, producer is wating....." << endl;
(b->not_full).wait(lock); // 等待缓存非full
}
// 向缓存中添加item
(b->buffer)[b->write_position] = item;
(b->write_position)++;
// 若到达最后一个, 写位置置位0
if (b->write_position == buffer_size)
b->write_position = 0;
(b->not_empty).notify_all();
lock.unlock();
}
int consume_item(Buffer *b)
{
int data;
unique_lock <mutex> lock(b->mtx);
while (b->write_position == b->read_position)
{ // 当前buffer 为空
cout << "buffer is empty , consumer is waiting....." << endl;
(b->not_empty).wait(lock);
}
data = (b->buffer)[b->read_position];
(b->read_position)++;
if (b->read_position >= buffer_size)
b->read_position = 0;
(b->not_full).notify_all();
lock.unlock();
return data;
}
//生产者任务
void producer() {
for (int i = 1; i<= item_total;i++) {
cout << "prodece the " << i << "^th item ..." << endl;
porduce_item(&buffer_res, i);
}
}
//消费者任务
void consumer()
{
static int cnt = 0;
while(1) {
Sleep(1);
int item = consume_item(&buffer_res);
cout << "consume the " << item << "^th item" << endl;
if (++cnt == item_total)
break;
}
}
//初始化 buffer
void init_buffer(Buffer *b)
{
b->write_position = 0;
b->read_position = 0;
}
int main()
{
init_buffer(&buffer_res);
thread prodece(producer);
thread consume(consumer);
prodece.join();
consume.join();
getchar();
}
中间数组用双向队列比较好,可以免去位置。简单讲就是用一个缓存队列来控制两个线程。要注意锁的应用,这里是互斥锁。

被折叠的 条评论
为什么被折叠?



