libsvm代码阅读：关于Cache类的分析

最新推荐文章于 2021-02-23 22:44:43 发布
最新推荐文章于 2021-02-23 22:44:43 发布
阅读量3.2k 收藏 5
点赞数 1
分类专栏： 编程与笔试训练 算法与理论研究 libsvm代码阅读 文章标签： cache svm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linj_m/article/details/19571663
版权

update：2014-2-27 LinJM @HQU  『 libsvm专栏地址：http://blog.csdn.net/column/details/libsvm.html 』

下面来分析Cache类的源码，该类位于svm.cpp中。这个类的主要功能是：负责运算所涉及的内存管理，包括申请、释放等。

简单来说：这个Cache类，首先通过Cache构造函数申请一块空间，这块空间的大小是：L个head_t大小的空间。然后get_data函数保证结构head_t中至少有len个float的内存，并且将可以使用的内存块的指针放在data指针中；而swap_index函数则是用于交换head[i]和head[j]。

Cache类的定义如下：

class Cache
{
public:
	Cache(int l,long int size);
	~Cache();

	// request data [0,len)
	// return some position p where [p,len) need to be filled
	// (p >= len if nothing needs to be filled)
	int get_data(const int index, Qfloat **data, int len);
	void swap_index(int i, int j);	
private:
	int l;
	long int size;//所指定的全部内存，据说用Mb做单位
	//结构head_t用来记录所申请内存的指针，并记录长度，而且通过双向的指针，形成链表，增加寻址的速度
	struct head_t
	{
		head_t *prev, *next;	// a circular list是一个双向链表，非循环链表
		Qfloat *data;
		int len;		// data[0,len) is cached in this entry
	};

	head_t *head;//变量指针，该指针记录程序中所申请的内存。
	head_t lru_head;//双向链表的表头
	void lru_delete(head_t *h);//从双向链表中删去某个元素的链接，一般是删去当前所指向的元素
	void lru_insert(head_t *h);//在链表后面插入一个新的链接
};
主要包含：

  1. 两个int变量，分别是l和size，l是样本个数，size是指定的全部内存；
  2. 一个构造函数Cache，该函数根据样本数l申请L个head_t的空间；
  3. 一个析构函数～Cache，不用多说；
  4. 一个双向链表的结构head_t；
  5. 一个get_data函数，具体下文再说；
  6. 一个swap_index函数，交换两个head_t的值；
  7. 一个双向链表的删除函数lru_delete，一个插入函数lru_insert；
  8. 一个变量指针head，该指针指向程序中所申请的内存。

关于上面的结构体head_t，它是一个双向链表方便前后内存的访问，在文献LIBSVM：A  Libray for SVM中如下说法：



构造函数的代码如下：

Cache::Cache(int l_,long int size_):l(l_),size(size_)
{
	//calloc函数的功能与malloc函数的功能相似，都是从堆分配内存该函数与malloc函数的一个显著不同时
	//是，calloc函数得到的内存空间是经过初始化的，其内容全为0。
	head = (head_t *)calloc(l,sizeof(head_t));	// initialized to 0
	size /= sizeof(Qfloat);//先将原来byte数目转化为float的数目。
	size -= l * sizeof(head_t) / sizeof(Qfloat);//扣除掉L个head_t的内存数目
	size = max(size, 2 * (long int) l);	// cache must be large enough for two columns
	lru_head.next = lru_head.prev = &lru_head;
}
该函数根据实参：样本数L，申请L个head_t的空间，初始化为0；size的处理是：先将输入的size值（byte单位）转化为float的数目，然后再减去L个head_t所占的空间；其中lru_head因为尚没有head_t中申请到内存，故双向链表指向自己。

析构函数的代码如下：

Cache::~Cache()
{
	for(head_t *h = lru_head.next; h != &lru_head; h=h->next)
		free(h->data);
	free(head);
}
这个很简单，不用多说。


双向链表的删去函数代码：

void Cache::lru_delete(head_t *h)
{
	// delete from current location
	h->prev->next = h->next;
	h->next->prev = h->prev;
}
该函数用于后面swap_index函数断开双向链表的实现。只是断开链接，没有删去数据。


双向链表的插入函数代码：

void Cache::lru_insert(head_t *h)
{
	// insert to last position
	h->next = &lru_head;
	h->prev = lru_head.prev;
	h->prev->next = h;
	h->next->prev = h;
}
该函数用于后面swap_index函数恢复前面断开连接的两个数据的实现。


get_data函数的代码：

int Cache::get_data(const int index, Qfloat **data, int len)
{
	head_t *h = &head[index];
	if(h->len) lru_delete(h);
	int more = len - h->len;
	//因为shrink后h->len可能变小，那么more>0，现在要做的就是重新filled，即把内存变成len那么大（主要是通过realloc实现的）
	if(more > 0)
	{
		// free old space，这一步一般不会运行
		while(size < more)   //size为所指定的全部内存
		{
			head_t *old = lru_head.next;
			lru_delete(old);
			free(old->data);
			size += old->len;
			old->data = 0;
			old->len = 0;
		}

		// allocate new space
		h->data = (Qfloat *)realloc(h->data,sizeof(Qfloat)*len);//把内存扩大到len
		size -= more;
		swap(h->len,len);
	}

	lru_insert(h);
	*data = h->data;
	return len;
}

该函数主要的就是每个head[i]具有len大小的内存空间。关于realloc函数是扩大内存用的。


swap_index函数的代码： 

void Cache::swap_index(int i, int j)
{
	if(i==j) return;

	if(head[i].len) lru_delete(&head[i]);//断开双向链表
	if(head[j].len) lru_delete(&head[j]);//断开双向链表
	swap(head[i].data,head[j].data);
	swap(head[i].len,head[j].len);
	if(head[i].len) lru_insert(&head[i]);
	if(head[j].len) lru_insert(&head[j]);

	if(i>j) swap(i,j);
	for(head_t *h = lru_head.next; h!=&lru_head; h=h->next)
	{
		if(h->len > i)
		{
			if(h->len > j)
				swap(h->data[i],h->data[j]);
			else
			{
				// give up
				lru_delete(h);
				free(h->data);
				size += h->len;
				h->data = 0;
				h->len = 0;
			}
		}
	}
}
这个函数就是交换head_t[i]和head_t[j]的内容。首先将head_t[i]和head_t[j]从双向链表中脱离出去，然后交换它们的内容，最后重新把它们恢复到链表中。

完整代码如下：

//
// Kernel Cache
//
// l is the number of total data items
// size is the cache size limit in bytes
//
//类Cache负责运算所涉及的内存的管理，包括申请、释放等
class Cache
{
public:
	Cache(int l,long int size);
	~Cache();

	// request data [0,len)
	// return some position p where [p,len) need to be filled
	// (p >= len if nothing needs to be filled)
	int get_data(const int index, Qfloat **data, int len);
	void swap_index(int i, int j);	
private:
	int l;
	long int size;//所指定的全部内存，据说用Mb做单位
	//结构head_t用来记录所申请内存的指针，并记录长度，而且通过双向的指针，形成链表，增加寻址的速度
	struct head_t
	{
		head_t *prev, *next;	// a circular list是一个双向链表，非循环链表
		Qfloat *data;
		int len;		// data[0,len) is cached in this entry
	};

	head_t *head;//变量指针，该指针记录程序中所申请的内存。
	head_t lru_head;//双向链表的表头
	void lru_delete(head_t *h);//从双向链表中删去某个元素的链接，一般是删去当前所指向的元素
	void lru_insert(head_t *h);//在链表后面插入一个新的链接
};

Cache::Cache(int l_,long int size_):l(l_),size(size_)
{
	//calloc函数的功能与malloc函数的功能相似，都是从堆分配内存该函数与malloc函数的一个显著不同时
	//是，calloc函数得到的内存空间是经过初始化的，其内容全为0。
	head = (head_t *)calloc(l,sizeof(head_t));	// initialized to 0
	size /= sizeof(Qfloat);//先将原来byte数目转化为float的数目。
	size -= l * sizeof(head_t) / sizeof(Qfloat);//扣除掉L个head_t的内存数目
	size = max(size, 2 * (long int) l);	// cache must be large enough for two columns
	lru_head.next = lru_head.prev = &lru_head;
}

Cache::~Cache()
{
	for(head_t *h = lru_head.next; h != &lru_head; h=h->next)
		free(h->data);
	free(head);
}

void Cache::lru_delete(head_t *h)
{
	// delete from current location
	h->prev->next = h->next;
	h->next->prev = h->prev;
}

void Cache::lru_insert(head_t *h)
{
	// insert to last position
	h->next = &lru_head;
	h->prev = lru_head.prev;
	h->prev->next = h;
	h->next->prev = h;
}

//该函数保证head_t[index]中至少有len个float的内存，并且将可以使用的内存块的指针放在data指针中，返回值为申请到的内存
int Cache::get_data(const int index, Qfloat **data, int len)
{
	head_t *h = &head[index];
	if(h->len) lru_delete(h);
	int more = len - h->len;

	if(more > 0)
	{
		// free old space
		while(size < more)   //size为所指定的全部内存
		{
			head_t *old = lru_head.next;
			lru_delete(old);
			free(old->data);
			size += old->len;
			old->data = 0;
			old->len = 0;
		}

		// allocate new space
		h->data = (Qfloat *)realloc(h->data,sizeof(Qfloat)*len);
		size -= more;
		swap(h->len,len);
	}

	lru_insert(h);
	*data = h->data;
	return len;
}

void Cache::swap_index(int i, int j)
{
	if(i==j) return;

	if(head[i].len) lru_delete(&head[i]);//断开双向链表
	if(head[j].len) lru_delete(&head[j]);//断开双向链表
	swap(head[i].data,head[j].data);
	swap(head[i].len,head[j].len);
	if(head[i].len) lru_insert(&head[i]);
	if(head[j].len) lru_insert(&head[j]);

	if(i>j) swap(i,j);
	for(head_t *h = lru_head.next; h!=&lru_head; h=h->next)
	{
		if(h->len > i)
		{
			if(h->len > j)
				swap(h->data[i],h->data[j]);
			else
			{
				// give up
				lru_delete(h);
				free(h->data);
				size += h->len;
				h->data = 0;
				h->len = 0;
			}
		}
	}
}


本文地址：http://blog.csdn.net/linj_m/article/details/19571663

微博：林建民-机器视觉


Lin-JM
关注
专栏目录
libsvm全部源代码
04-16
libsvm的全部代码，可以执行，内含java，matlab等多种语言代码
libsvm代码阅读(3)：关于Cache类的分析
weixin_34417200的博客
12-26 98
2019独角兽企业重金招聘Python工程师标准>>> ...
libsvm简单代码解释
zhf1234abc的博客
07-12 706
首先来看一下Libsvm的模型训练部分：采用为One-against-one的策略假如有1,2,3,4个类可以(1,2)(1,3)(1,4)(2,3)(2,4)(2,4)可以得到n(n-1)/2个决策函数，当进来一个样本采用对1,2,3,4进行投票进行选择，看属于哪个类。 /**   * Libsvm的模型训练函数   * @param prob 输入的问题   * @param pa
libsvm代码阅读：svm.cpp浅谈和函数指针
LinJM-机器视觉
02-20 4833
svm.cpp总共有3159行代码，实现了svm算法的核心功能，里面总共有Cache、Kernel、ONE_CLASS_Q、QMatrix、Solver、Solver_NU、SVC_Q、SVR_Q 8个类（如下图1所示），而它们之间的继承和组合关系如图2、图3所示。在这些类中Cache、Kernel、Solver是核心类，对整个算法起支撑作用。在以后的博文中我们将对这3个核心类做重点注解分析，另外还将对svm.cpp中的svm_train函数做一个注解分析。 函数指针是指向函数而非指向对象的指针。像其他指针
libsvm 代码分析
keith0812的专栏
12-03 1722
void Solve(int l, QMatrix Q, double[] p_, byte[] y_,   double[] alpha_, double Cp, double Cn, double eps, SolutionInfo si, int shrinking) { this.l = l; this.Q = Q; QD = Q.get_QD(); p = (double
libsvm_src：SVM源码剖析.pdf
09-28
支持向量机(Support Vector Machine, SVM)是一种广泛应用于数据分类与回归分析的监督学习模型。它的核心思想是在特征空间中构建一个最优超平面，以此来区分不同类别的数据。SVM能够处理线性可分和非线性可分的问题，...
libsvm-2 程序代码详细解读
01-28
通过以上分析，我们可以看出LibSVM的设计是高度模块化的，每个部分都有明确的职责，这使得代码易于维护和扩展。同时，其内部优化如内核缓存和高效求解算法，保证了在处理大规模数据时的性能。了解这些细节对于理解和...
libsvm_src代码注释
06-01
libsvm旨在通过提供高效、易于使用的SVM算法库，支持各种线性和非线性问题的分类和回归分析。 在libsvm中，数据的表示通常采用一种特殊的结构来存储特征值，即`sparse vector format`（稀疏向量格式）。使用结构体`...
LIBSVM-2.9源码剖析：C++实现与功能解析
"LIBSVM-2.9源码分析，主要涉及C++版本的源代码文件，包括svm.h、svm.cpp、svm-train.c、svm-predict.c和svm-scale.c，以及编译方法和主要功能的简介。" LIBSVM（Library for Support Vector Machines）是一个著名...
java libsvm回归_java学习--Libsvm java版代码注释及详解(一)
weixin_29725791的博客
02-23 290
由于工作中要用到SVR算法，项目组的系统是用java开发的，因此，为了能与项目组同步，算法需要用java来实现，还好台湾大学的林智仁教授推出了Libsvm的源代码，包括java、c++等语言的源代码，在此表示感谢！因此，算法的主体部分不用自己开发了，在源代码的基础上做一些修改就能够应用到自己的项目中了，开源真好！受益了无数人。。。为了弘扬开源的精神，开博记录学习Libsvm java版源代码的过程...
libSVM代码的使用说明
12-05
文档给出了libSVM的数据格式转换全解（含数据格式转换所需的excel宏），并且结合一些人的博客和libSVM代码的说明总结了libSVM的使用过程（含例子）。
libsvm svmc语言源代码
04-27
svm的c语言源码。。。。。。。。。。。。。。。。。。。。。。。。。。
libsvm源码解析
王小禾
04-27 2427
1. 引言 2 代码分析 2.1 svm_node代码分析 2.2 svm_problem代码分析 2.3 svm_parameter代码分析 2.3 svm_model代码分析 3 核心代码分析 1 Cache 2 Kernel 3 Solver 1. 引言 libsvm函数包的组织结构图如下图所示。主文件路径中包含了核心的C/C++程序和例子数据，以及jav...
Caching 缓存技术
Peter的博客
09-15 341
如果我们的代码反复调用导致堆分配的函数，然后丢弃结果，这将创建不必要的垃圾。相反，我们应该存储对这些对象的引用并重用它们。这种技术称为缓存。 在下面的示例中，每次调用该代码都会导致堆分配。这是因为创建了一个新数组。 void OnTriggerEnter(Collider other) { Renderer[] allRenderers = FindObjectsOfType<Renderer>(); ExampleFuncti...
matlab配置libsvm
baidu_31959555的博客
10-31 1001
Windows10 64bit libsvm-3.23 matlab 2015a SDK 7.1 一、基本安装 1.解压libsvm，将文件夹放入 ‘你的matlab安装路径\toolbox\libsvm-3.23\matlab’  2.matlab中设置路径，选择 add with subfolders... ，再选择libsvm文件夹    3.将matlab的目录改为l...
LibSVM支持向量回归详解
KunBB的博客
09-19 7474
LibSVM是是台湾林智仁(Chih-Jen Lin)教授2001年开发的一套支持向量机的库，可以很方便的对数据做分类或回归。由于LibSVM程序小，运用灵活，输入参数少，并且是开源的，易于扩展，因此成为目前国内应用最多的SVM的库，同时sklearn.svm也是使用的该库。 网络上对于LibSVM源码的讲解有很多，但个人感觉绝大多数讲解的不够清晰，很多都是贴个理论公式图片再粘段代码就一带而过。并...
libsvm代码阅读：基础准备与svm.h头文件
LinJM-机器视觉
02-19 6301
Update：2014-2-25 LinJM @HQU libsvm是国立台湾大学Chih-Jen Lin开发的一个SVM的函数库，是当前应用最广泛的svm函数库，从2000年到2010年，该函数库的下载量达到250000之多。它的最新版本是version 3.17，主要是对是svm_group_classes做了修改。 libsvm函数包的组织结构如下： 1、主文件路径：包含了核心的C/C++程序和例子数据。其中svm.cpp是svm的核心程序，它实现了svm的训练和测试算法。 2、tool子文件路径
libsvm源代码注释+算法描述:svm_train
dzhou的博客
02-19 1万+
(I will try my best to make this note clearer.)We mainly focus on solve_c_svc in this note.Our goal: mindB\displaystyle \min_{\mathbf{d}_B} 12dTB∇2f(αk)dB+∇f(αk)TBdB\frac{1}{2}\mathbf{d}_{B}^{T}\nabla
基于opencv的车牌识别解析与代码
热门推荐
LinJM-机器视觉
01-02 5万+
车牌识别太出名了，我也就花几天来了解下这个系统，并结合opencv进行实现。下面是一些介绍： 车辆牌照识别（License Plate Recognition，LPR）技术作为交通管理自动化的重要手段和车辆检测系统的一个重要环节，在交通监视和控制中占有很重要的地位。LPR系统可以广泛应用于高速公路电子收费站、出入控制、公路流量监控、失窃车辆查询、停车场车辆管理、公路稽查、检测黑牌机动车、监控违章车辆的电子警察等需要车牌认证的重要场合，尤其是基于车牌识别技术的高速公路收费系统中，相对于射频卡等技术，可以实现不
LibSVM代码解析：结构与核心概念
“libsvm支持向量机代码说明文档，中文版，由上海交通大学模式分析与机器智能实验室提供。” LibSVM（Library for Support Vector Machines）是由台湾大学开发的一个开源工具包，主要用于实现支持向量机（Support ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值