闲侃名家名作

原创 2003年08月11日 12:15:00

<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

 

首先声明写作此文绝非因为我是愤青,也不是因为我认为自己有多牛,更不是对文中所提到的人有什么不尊重(其实这些都是我比较崇拜的人)。只是想说,只要是人就可能犯错,所以永远不要丢了怀疑权威的勇气。顺便从侧面回应一下mikeczy对我的评价,他说“狂犬吠日之蠢材,不要动不动就使用字。”本人此文可能尚有错漏,还请方家斧正。

 

       其一:候捷先生的大作《STL源代码剖析》中,99页有这么一句话:“换句话说,当客端调用distance()并使用Output IteratorsForward IteratorsBidirectional iterators时统统都会传递调用Input Iterator版的那个__distance()函数。”这句话应该就是错的,因为Output IteratorsInput Iterator在继承上没有任何关系,所以怎么也不能从

__distance( __first, __last, output_iterator_tag) 推导出要调用

__distance(__first, __last, input_iterator_tag)。不知诸君以为然否?

 

       其二:Feng Yuan是《windows 图形编程》的作者,由于此书主讲GDI模块,可能有些人并没有读过。当然读过的人应该都会有种叹为观止的感觉。但在第一章里讲到用修改导入导出表来挂接函数时,作者给出的代码是这样的:

           // find the entry with the function name

              for (unsigned i=0; i<pExport->AddressOfNames; i++)

                     if ( stricmp(pProcName, RVA2Ptr(pNames[i]))==0 )

                     {

                            // get the corresponding ordinal

                            ord = pExport->Base + pOrds[i];

                            break;

                     }

为了下面的讲解,我对此做简单的说明。在这段代码中,pExport指向欲挂接模块的导出表,即IMAGE_EXPORT_DIRECTORY结构的指针,而pProcName为要挂接的API函数的名字, pNames这是 IMAGE_EXPORT_DIRECTORY 的成员变量AddressOfNames转换来的实际地址。RVA2Ptr是把RVA地址转换为真实地址的函数。由此可以看出这段代码是求欲挂接函数所对应的序数。但这里边有个小问题,循环的终止条件有问题,至少在逻辑上不对。pExport->AddressOfNames是个RVAi小于一个RVA是没有意义的,虽然这个RVA通常都足够大,所以程序运行上并不见得会有问题。实际上应该是i<pExport-> NumberOfNames,因为NumberOfNames才指明导出函数的数目。

 

其三:虽然大家都对microsoft抱有某种逆反,而microsoft的产品也确实暴露出一些问题,但我们仍不得不承认,他的程序员队伍是顶级的。那么我们现在说一下microsoft的摇钱树Word,Word 中你可以从菜单中选格式,再选背景,再选水印,而后指定相应的文本,这样就会在你的文档中加入诸如公司机密一类的水印。可microsoft的实现有没有问题呢?你在文档中画一个方框,或者导入一个图形你就知道了,此时水印被完全覆盖了。公司机密也就变成了公司密一类的东西。其实这个问题真的很容易解决,只要先把文本转为路径,并确保输出水印的函数总在重画页面时最后被调用即可。如果我没弄错的话,microsoft内部是用Bezier曲线加上填充硬画出来的,并且对添加水印的时机把握的并不好,还真是“牛人”自有“牛人”的方法。

 

其四说一下大名鼎鼎的SGI STL。在向下进行之前,我们来看段程序。这段程序很简单,就是在windows操作系统下,枚举系统缺省堆的情况。最终把堆中各个块的信息和整个堆的totalsizefreesize输出。

 

#include <windows.h>

#include <Tlhelp32.h>

#include <iostream>

#include <deque>

#include <vector>

using namespace std;

 

typedef vector<int> VINT;

typedef deque<int>  DINT;

 

int main(int argc, char* argv[])

{

HANDLE hSnapShot=CreateToolhelp32Snapshot(TH32CS_SNAPHEAPLIST,

GetCurrentProcessId());

       HEAPLIST32  heaplist32;

 

       heaplist32.dwSize=sizeof(HEAPLIST32);

 

       BOOL bRet=Heap32ListFirst(hSnapShot,&heaplist32);

      

       DINT ui;

 

       for(int i=0; i<4096; ++i)

              {

                     ui.push_back(1);

              }

       ui.clear();

 

       if(bRet)

       {

              HEAPENTRY32  he32;

              DWORD totalsize=0,freesize=0;

 

              he32.dwSize=sizeof(HEAPENTRY32);

 

              Heap32First(&he32,heaplist32.th32ProcessID,heaplist32.th32HeapID);

 

              if(he32.dwFlags & LF32_FREE)

                     freesize +=he32.dwBlockSize;

             

              totalsize +=he32.dwBlockSize;

 

cout<< "The information of first block: " << "Blocksize: "<<he32.dwBlockSize<<"/t Address: "<<(LONG)he32.dwAddress<<endl;

 

              while(Heap32Next(&he32))

                     {

cout<< "The information of block: " << "Blocksize: "<<he32.dwBlockSize<<"/t Address: "<<(LONG)he32.dwAddress<<endl;

 

                            totalsize +=he32.dwBlockSize;

 

                            if(he32.dwFlags & LF32_FREE)

                            freesize +=he32.dwBlockSize;

 

                     }

 

              cout<< "the total size of the heap is: " <<totalsize<<endl;

              cout<< "the free  size of the heap is: " <<freesize <<endl;

              cout<< "the commited  size of the heap is: " <<(totalsize-freesize) <<endl;

 

       }

 

       return 0;

}

我们先在SGI STL下来运行这段程序。你会惊奇的发现注掉和不注掉ui.clear()结果是一样的,在我的机器上结果如下:

The information of first block: Blocksize: 16836       Address: 7143544

The information of block: Blocksize: 3008       Address: 7160384

The information of block: Blocksize: 5440       Address: 7163396

The information of block: Blocksize: 5776       Address: 7168840

The information of block: Blocksize: 6128       Address: 7174620

The information of block: Blocksize: 1312       Address: 7180752

The information of block: Blocksize: 4144       Address: 7182068

The information of block: Blocksize: 1005780  Address: 7186224

The information of block: Blocksize: 0     Address: 8192008

The information of block: Blocksize: 320  Address: 8192012

The information of block: Blocksize: 2096       Address: 8192336

The information of block: Blocksize: 1328       Address: 8194436

The information of block: Blocksize: 316  Address: 8195776

the total size of the heap is: 1052484

the free  size of the heap is: 1006096

the commited  size of the heap is: 46388

奇怪之处在于最后一行,按道理对ui调用clear()之后,ui所占用的堆空间应该被释放了(不要忘了容器内部是在堆中分配内存的),这样两次的结果就我输出结果中的commited  size一项而言绝对不应该一样。如果你做进一步尝试,把对ui的定义和push_back的操作放入另外一个函数里,让ui得以自动析构,你将得到基本相同的结果,ui所占用的堆空间并不会被释放。这也就意味着,在某种特定情况下内存被“泄漏”(与通常的内存泄漏不同所以用引号)了。我们再做一些进一步的试验,把SGI STL换成VC自带的STL。你会发现结果与SGI STL有根本的不同,在执行ui.clear()或者析构函数被调用后进程缺省堆的空间回复到了对ui进行push_back以前的水平。

 

原因何在呢?如果你读过SGI STL的源代码,并仔细的分析了SGI对分配器的实现(1),你会发现在缺省的情况下,SGI STL针对两种情况运用两种不同的内存分配机制。如果你分配的内存块大于128字节,那么分配器直接用malloc进行分配,否则将启用一种叫做Memory Pool2)的机制,而在这种机制下内存的释放等价于把内存放回Memory Pool,而不是真的还给系统。而又由于SGI STL中并没有对Memory Pool中内存进行释放或动态缩减的机制,所以导致Memory Pool中的内存只能随着进程的释放而被释放。所以也就出现了上述的情况。由于SGI STL_USE_MALLOCSTLport中是_STLP_USE_MALLOC)宏来决定是否启用Memory Pool机制我们可以试着在定义了此宏的基础上再进行一次检查。你将发现这回ui容器所占用的内存得到了释放。也许Memory Pool技术在某种特定的情况下将为程序带来非常大的收益,但在windows平台下,由于他有可能导致堆内存的隐性消失,本人建议慎用(尤其是在服务进程中,这种内存消耗对系统的影响可能就非常的巨大)。

 

我要重复一下开篇时的话,人是一种很容易犯错的生物,很不幸牛人也是人,只不过较少犯错而已。同样的,根本不是牛人的我也就更不敢肯定我文中所说的全是对的,我诚恳的希望大家给予批评和指正。上帝也许是有的,但不在我们身边,所以莫要失去怀疑的勇气。

 

 

1候捷老师在《STL源代码剖析》一书中对此有详尽的分析。

2The C++ Programming Language》第三版对此有一个简单的实现。

3当对容器执行push_back时最好确保容器所占用的空间不要超过1M,因为进程缺省堆为1M,超过1M后系统将对进程缺省堆进行扩充,这样有可能造成被统计数据显得混乱。比如可能出现用的越多,空闲越多的情况。

注4:检验heap代码给出的结果是对应于98系统的。2000下要想看到这种变化则要把进程内所有堆都进行枚举。因为2000下C运行时库不使用进程缺省堆。

政府大数据项目闲侃

大数据已经不是啥新鲜名词,几乎每个场合都能听到,此方面的书籍也是多如牛毛,个人认为比较经典的当属涂子沛的《大数据》;各行各业大数据的项目也陆续上马,尤其是政府部门的大数据项目,下面结合一些项目实际情况...
  • neweastsun
  • neweastsun
  • 2016年01月27日 21:55
  • 964

视觉SLAM漫淡 - 半闲居士

视觉SLAM漫谈 1.    前言 开始做SLAM(机器人同时定位与建图)研究已经近一年了。从一年级开始对这个方向产生兴趣,到现在为止,也算是对这个领域有了大致的了解。然而越了解,越觉得这...
  • lcj_cjfykx
  • lcj_cjfykx
  • 2015年03月11日 09:36
  • 6198

Python爬虫小项目(1):抓取转转网西安二手商品的详细信息并导入mongo,绘制图表,慢更

本来打算爬闲鱼的,写代码的时候发现闲鱼那个瀑布式的页面用普通分析方法实在搞不定,,退而求其次,转转页面简单一点 转转网首页:http://zhuanzhuan.58.com/ 以首页为起点抓取商品...
  • qq_31823267
  • qq_31823267
  • 2017年06月17日 15:30
  • 397

半闲居士视觉SLAM十四讲笔记(1)前言

搭载特定传感器的主体,在没有环境先验信息的情况下,于运动过程中建立环境的模型,同时估计自身的运动(位姿)。如果这里的传感器是相机,就称之为视觉 SLAM。...
  • youngpan1101
  • youngpan1101
  • 2017年05月02日 17:29
  • 5269

浅谈数组名作形参

首先,我要说明的是,一下两个hanshu
  • stpeace
  • stpeace
  • 2014年04月08日 23:59
  • 1246

程序员就是累死能干的闲死偷懒的

我不是一个“充满干劲的程序员”。我觉得,固定8小时工作之后,就应该去做点别的事情,比如说看看科幻小说,和我亲爱的妻子聊聊天等等。当别人问起,我会正儿八经地这么回答,“这才是所谓的生活。你也应该试一试”...
  • zang141588761
  • zang141588761
  • 2016年01月29日 17:42
  • 2246

仿闲鱼tabbar加二次点击刷新

仿闲鱼tabbar加二次点击刷新,实现底部功能加二次点击item ,可以刷新选中的fragment....
  • wqbs369
  • wqbs369
  • 2017年08月08日 17:58
  • 199

胡侃学习(理论)计算机【被大佬推荐,转载以膜拜】

《胡侃学习(理论)计算机》 作者: Sir (阿涩)   我也来冒充一回高手,谈谈学习计算机的一点个人体会。由于我是做理论的,所以先着重谈谈理论。   记得当年大一,刚上本科的时候,每周六课时数...
  • luke2834
  • luke2834
  • 2017年07月12日 13:48
  • 1254

在腾讯的第三堂产品课——爆品的秘密 梁宁-闲花照水录

对于正在设计、打磨、运营初创产品的团队,“风口”这个概念太抽象。对自己的产品与用户,一个更直率的衡量感是: “你的用户是否饥饿。 在你调动全部资源,开始新一轮产品迭代前,也许应该问自己: ...
  • A2268320026
  • A2268320026
  • 2016年02月12日 23:50
  • 562

如何从定价着手,提高闲鱼平台上的交易量?

作者:gabbe 全文共 2283 字 1 图,阅读需要 6 分钟 ———— / BEGIN / ———— 最近要在闲鱼上卖个桌子,在定价的时候有了些为难之处,所以这篇文章就闲鱼...
  • k7Jz78GeJJ
  • k7Jz78GeJJ
  • 2017年11月03日 00:00
  • 306
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:闲侃名家名作
举报原因:
原因补充:

(最多只允许输入30个字)