性能优化:空间换时间

原创 2015年10月28日 21:33:48

问题背景

       在程序开发过程中,我们对于数据的处理,会有一些校验。 
       校验分为两种:简单校验复杂校验

       对于一些简单的校验,如用户是否存在,密码是否正确等等。这种校验,可以说几乎不耗时的。所以也没必要在这里做优化。 
       对于复杂的校验,需要进行联合查询,通过查询很多次之后,才可以得出 数据的正确性与否。当然这种校验执行会很慢。

       对于程序开发来说,时间复杂度和空间复杂度是可以相互转化的。说通俗一点,就是:对于执行的慢的程序,可以通过消耗内存(即构造新的数据结构)来进行优化。而消耗内存的程序,也可以多消耗时间来降低内存的消耗。 
       前者使用的是最多的。很少有人会为了节省内存而浪费时间。

       感兴趣的同学,请仔细看完这个例子。看如何是如何消耗内存来提高性能的。如果有不正确的地方,还请指出来。

先举例一个场景。来分别 看一下  正常思路的处理方法和优化过后的处理方法:

       比如说给学生 排课。 学生 和 课程 是一个多对多的关系。 




       按照正常的逻辑 应该有一个关联表来维护 两者之间的关系。 



现在,添加一个约束条件 用于 校验。如:张三 上学期 学过 的课程,在排课的时候不应该再排这种课程。 



 所以需要出现一个约束表(即:历史成绩表)。



即:学生选课表,需要 学生成绩表作为约束。

处理方式对比

方案一:正常的处理方式:

       当一个学生进行再次选课的时候。需要查询学生选课表看是否已经存在。

即有如下校验:


//查询 学生code和课程code分别为  A 和 B的数据是否存在

//list集合中存放  学生选课记录全部的数据
List<StudentRecordEntity> ListStudentRecord=service.findAll();   
//查询数据,看是否已经存在
StudentRecordEntity enSr=ListStudentRecord.find(s=>s.学生Code==A && s.课程Code==B);
If(enSr==null){
    //学生没有选该课程
    //....
}else{
    //学生已经选过该课程
    //....
}



对于上面这种代码的写法,非常的简练。而且也非常易懂。 

       首先,假设有5000个学生,100门课程。那么对于学生选课的数据集中,数据量将是5000*100.数据量会是十万级别的数量级。

       在十万条数据中,查询 学生=A 课程=B的 一条记录。执行的效率会很低。因为find方法的查询也就是where 查询,即通过遍历数据集合 来查找。 

       所以,使用上面的代码。在数据量逐渐增长的过程中,程序的执行效率会大幅度下降。 
       (ps:数据量增长,在该例子中并不太适合。例子可能不太恰当。总之,大概就是这个意思。)


方案二:使用内存进行优化效率:

       这种做法,需要消耗内存。或者说把校验的工作向前做(数据的初始化,在部署系统的过程中进行)。即:在页面加载的时候数据只调用提供的public方法进行校验。


//学生Code  到   数组索引
Private Dictionary<string,int> _DicStudentCodeToArrayIndex;
//课程Code  到   数据索引
Private Dictionary<string,int> _DicCourseCodeToArrayIndex;

//所有学生
List<StudentEntity> ListStudent=service.findAllStudent();
//所有课程
List<CourseEntity> ListCourse=service.findAllCourse();
//所有 学生选课记录
List<StudentCourseEntity> ListStudentRecord=service.finAll();

Private int[,] _ConnStudentRecord=new int[ListStudent.count,ListCourse.count];

//构造 学生、课程的  数组 用于快速查找字典索引
Private void GenerateDic(){
    For(int i=0;i<ListStudent.Count;i++)
        _DicStudentCodeToArrayIndex.Add(ListStudent[i].code,i)
    }
    For(int i=0;i<ListCourse.Count;i++){
        _DicCourseCodeToArrayIndex.Add(ListCourse[i].code,i)
    }
}

//构造学生选课 匹配的 二维数组。 1表示 学生已选该课程
Private void GenerateArray(){

    Foreach(StudentRecordEntity sre in ListStudentRecord){
        Int x=_DicStudentCodeToArrayIndex[sre.学生Code];
        Int y=DicCourseCodeToArrayIndex[sre.课程Code];
        ConnStudentRecord[x,y]=1;
    }
}

//对外公开的方法:根据学生Code 和课程Code  查询 选课记录是否存在
/// <returns>返回1 表示存在。返回0表示不存在</returns>
Public void VerifyRecordByStudentCodeAndCourseCode(String pStudentCode,String pCourseCode){
    Int x=_DicStudentCodeToArrayIndex[pStudentCode];
    Int y=_DicCourseCodeToArrayIndex[pCourseCode];

    Return ConnStudentRecord[x,y];
}

性能分析

分析一下第二种方案的表象。 
       1、方法很多。 
       2、使用的变量很多。

       首先要说一下。该优化的目的,是提高 学生在选课的时候,所出现的卡顿现象(校验数据量大)。

分别对以上两种方案进行分析:

       假设学生为N,课程为M

第一种方案: 
       时间复杂度很容易计算 第一种方案最小为O(NM) 
第二种方案: 
       1、代码多。但是给用户提供的只有一个VerifyRecordByStudentCodeAndCourseCode方法。 
       2、变量多,因为该方案就是要使用内存提高效率的。 
       这个方法执行流程:1、在Dictionary中使用Code找Index 2、使用Index查询数组。

       第一步中,Dictionary中查询是使用的Hash查找算法。时间复杂度为O(lgN) 时间比较快。第二步,时间复杂度为O(1),因为数组 是连续的 使用索引 会直接查找对应的地址。 
       所以,使用第二种方案进行校验,第二种方案时间复杂度为O(lgN+lgM) 

小结

       通过上面的分析,可以看出,内存的付出是可以提高程序的执行效率的。以上只是一个例子,优化的好坏取决于使用的数据结构。


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

代码时间换空间以及空间换时间

void swap(int a, int b) { int c; c=a; a=b;b=a; } //--->空优 void swap(int a, int b) { a=a+b;b=a-b;a...

以空间换时间经典算法

以前看过一篇文章“优化C代码常用的几招”,作者提到的第一招就是“以空间换时间”,还举了一个例子,由于比较经典,引用一下:计算机程序中最大的矛盾是空间和时间的矛盾,那么,从这个角度出发逆向思维来考虑程序...

sublime text 格式化json

在开发的过程中,json数据是经常使用的。查日志。。但是查到的日志,都是一长串。。之前最长使用的是sojson网站,打开之后,然后格式化json 在模拟数据。但是发现,查的多了,每次都打开浏览器 格式...

数据库设计的三大范式

数据库设计三大范式 为了建立冗余较小、结构合理的数据库,设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为范式。范式是符合某一种设计要求的总结。要想设计一个结构合理的关系型数据库...

c#内存管理,用空间换时间

在32位的Windows操作系统中,每个进程都可以使用4GB的内存,这得益于虚拟寻址技术,在这4GB的内存中存储着可执行代码、代码加载的DLL和程序运行的所有变量,在C#中,虚拟内存中有个两个存储变量...

C语言高效编程的四大秘技之以空间换时间

转自:http://tech.163.com/06/1201/10/318HH45C00091KVA.html 引言: 编写高效简洁的C语言代码,是许多软件工程师追求的目标。本文就...

空间换时间,轻松提高性能100倍

空间换时间的最常用场景就是缓存,为了提高性能可以设置不同类型的缓存

以空间换时间

以前看过一篇文章“优化C代码常用的几招”,作者提到的第一招就是“以空间换时间”,还举了一个例子,由于比较经典,引用一下: 计算机程序中最大的矛盾是空间和时间的矛盾,那么,从这个角度出发逆向思维来考虑...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)