【IT168 技术】任何计算设备硬件资源都是有限的,越多的程序和服务竞争资源,用户的体验越糟糕(通常表现为延迟较长),性能下降的部分原因是因为安装了不需要的组件,还有部分原因是程序内部的设计问题,如让程序随系统启动而启动,或不管你是否会使用它,都让它在后台运行着,这些运行着但又未使用的进程都会抢占有限的系统资源。
虽然我见过一些有关程序性能测试的文章,但却未见过对程序的启动时间进行测试的,更别说是不同编程语言(框架),或同一框架的不同版本了,但这种测试结果对于选择特定硬件系统后,确定编程语言是非常有帮助的。本文将介绍当前比较流行的语言(框架) -.NET,Java,Mono和C++程序的启动性能对比,所有测试都是在它们各自的默认设置下进行的。但.NET,Mono,Java托管代码和C++原生代码谁的启动时间最短,谁的性能最好呢?首先来看一下热启动的对比结果吧!
由于测试中有诸多因素会影响结果,为了使测试结果显得更公平,我们只使用了一些简单的,可重复的测试,所有语言都可执行这些测试。
首先我们要测试的是从进程创建到进入main函数所花的时间,简称为“启动时间”,要精确地测试出启动时间是很困难的,有时只有凭用户的感觉,接下来测量了内存占用情况,内核和用户消耗的处理器时间。
如何计算启动时间
在下面的内容中,凡是提到操作系统API,我指的操作系统都是指Windows XP,由于没有现成的操作系统API可以获得程序的启动时间,因此我用了自己发明的方法来计算,我使用了简单的进程间通信机制来解决这个问题,创建进程时将创建时间作为一个命令行参数传递给测试进程,执行到退出代码时返回当前时间和创建时间的差,具体步骤说明如下:
在调用者进程(BenchMarkStartup.exe)中获得当前的UTC系统时间;
启动测试进程,将前面获得的进程创建时间作为参数传递给它;
在分支进程中,获得main函数开始执行时的当前系统UTC时间;
在同一进程中,计算并调整时间差;
执行到退出代码时返回时间差;
在调用者进程(BenchMarkStartup.exe)中捕捉退出代码。
本文会使用到两个启动时间:冷启动时间和热启动时间,冷启动表示系统重启后,程序的第一次启动时间,热启动时间表示程序关闭后,再次启动所花的时间。冷启动需要的时间往往会长一些,因为需要加载I/O组件,热启动可以利用操作系统的预取功能,因此热启动的时间要短得多。
影响性能的因素
对于托管的运行时,与原生代码比起来,JIT编译器将会消耗额外的CPU时间和内存。特别是对于冷启动时间的对比可能会有失公允,C++原生代码肯定会占有优势,而托管型的Mono,Java和.NET代码需要更长的加载时间。另外,如果其它程序加载了你需要的库,I/O操作也会减少,启动时间也会得到改善。在Java方面,也有一些启动加速程序,如Java Quick Starter,Jinitiator,为了公平起见,应该禁用它们。缓存和预取功能也应该留给操作系统去管理,不要浪费不必要的资源。
C++性能测试代码
C++测试代码是直接由调用者进程调用的,当它获得一个命令行参数时,它会将其转换成__int64来表示FILETIME,其值是从1601/1/1到现在的100 毫微秒间隔数,因此我们可以获得时间差,以毫秒数返回,用32位大小就足够了。
int_tmain(intargc, _TCHAR*argv[])
{
FILETIME ft;
etSystemTimeAsFileTime(&ft);
staticconst__int64 startEpoch2=0;//1601/1/1if( argc<2)
{
::Sleep(5000);
return-1;
}
FILETIME userTime;
FILETIME kernelTime;
FILETIME createTime;
FILETIME exitTime;if(GetProcessTimes(GetCurrentProcess(),&createTime,&exitTime,&kernelTime,&userTime))
{
__int64 diff;
__int64*pMainEntryTime=reinterpret_cast<__int64>(&ft);
_int64 launchTime=_tstoi64(argv[1]);
diff=(*pMainEntryTime-launchTime)/10000;
return (int)diff; }elsereturn-1; }
下面是创建测试进程的代码,传递给它的是初始时间,返回的是启动时间。第一个调用计算冷启动时间,后面的调用计算的是热启动时间。
DWORD BenchMarkTimes( LPCTSTR szcProg)
{
ZeroMemory( strtupTimes, sizeof(strtupTimes) );
ZeroMemory( kernelTimes, sizeof(kernelTimes) );
ZeroMemory( preCreationTimes, sizeof(preCreationTimes) );
ZeroMemory( userTimes, sizeof(userTimes) );
BOOL res=TRUE;
TCHAR cmd[100];inti,result=0;
DWORD dwerr=0;
PrepareColdStart();
::Sleep(3000);//3秒延迟for(i=0; i<=COUNT&&res; i++)
{
STARTUPINFO si; PROCESS_INFORMATION pi;
ZeroMemory(&si, sizeof(si) );
si.cb=sizeof(si); ZeroMemory(&pi, sizeof(pi) );
::SetLastError(0);
__int64 wft=0;if(StrStrI(szcProg, _T("java"))&&!StrStrI(szcProg, _T(".exe")))
{
wft=currentWindowsFileTime();
_stprintf_s(cmd,100,_T("java -client -cp .\\.. %s \"%I64d\""), szcProg,wft);
}elseif(StrStrI(szcProg, _T("mono"))&&StrStrI(szcProg, _T(".exe")))
{
wft=currentWindowsFileTime();
_stprintf_s(cmd,100,_T("mono %s \"%I64d\""), szcProg,wft);
}else{
wft=currentWindowsFileTime();
_stprintf_s(cmd,100,_T("%s \"%I64d\""), szcProg,wft);
}//启动子进程if( !CreateProcess(NULL,cmd,NULL,NULL,FALSE,0,NULL,NULL,&si,&pi )) {
dwerr=GetLastError();
_tprintf( _T("CreateProcess failed for '%s' with error code %d:%s.\n"),szcProg, dwerr,GetErrorDescription(dwerr) );
return dwerr;//中断;
}//等待20秒,或直到子进程退出 dwerr=WaitForSingleObject( pi.hProcess,20000);if(dwerr !=WAIT_OBJECT_0)
{
dwerr=GetLastError();
_tprintf( _T("WaitForSingleObject failed for '%s' with error code %d\n"),szcProg, dwerr );//关闭进程和线程处理 CloseHandle( pi.hProcess ); CloseHandle( pi.hThread );
break;
}
res=GetExitCodeProcess(pi.hProcess,(LPDWORD)&result);
FILETIME CreationTime,ExitTime,KernelTime,UserTime;if(GetProcessTimes(pi.hProcess,&CreationTime,&ExitTime,&KernelTime,&UserTime))
{ __int64*pKT,*pUT,*pCT;
pKT=reinterpret_cast<__int64>(&KernelTime);
pUT=reinterpret_cast<__int64>(&UserTime);
pCT=reinterpret_cast<__int64>(&CreationTime);if(i==0)
{
_tprintf( _T("cold start times:\nStartupTime %d ms"), result);
_tprintf( _T(", PreCreationTime: %u ms"), ((*pCT)-wft)/10000);
_tprintf( _T(", KernelTime: %u ms"), (*pKT)/10000); _tprintf( _T(", UserTime: %u ms\n"), (*pUT)/10000);
_tprintf( _T("Waiting for statistics for %d warm samples"), COUNT);
}else{
_tprintf( _T("."));
kernelTimes[i-1]=(int)((*pKT)/10000);
preCreationTimes[i-1]=(int)((*pCT)-wft)/10000;
userTimes[i-1]=(int)((*pUT)/10000);
strtupTimes[i-1]=result;
}
}else{
printf("GetProcessTimes failed for %p", pi.hProcess );
}//关闭进程和线程处理 CloseHandle( pi.hProcess );
CloseHandle( pi.hThread );if((int)result<0) { _tprintf( _T("%s failed with code %d: %s\n"),cmd, result,GetErrorDescription(result) );
return result;
}
::Sleep(1000);//1秒延时
}if(i<=COUNT )
{ _tprintf( _T("\nThere was an error while running '%s', last error code = %d\n"),cmd,GetLastError());
return result;
}doublemedian, mean, stddev;if(CalculateStatistics(&strtupTimes[0], COUNT, median, mean, stddev))
{
_tprintf( _T("\nStartupTime: mean = %6.2f ms, median = %3.0f ms, standard deviation = %6.2f ms\n"), mean,median,stddev);
}if(CalculateStatistics(&preCreationTimes[0], COUNT, median, mean, stddev))
{
_tprintf( _T("PreCreation: mean = %6.2f ms, median = %3.0f ms, standard deviation = %6.2f ms\n"), mean,median,stddev);
}if(CalculateStatistics(&kernelTimes[0], COUNT, median, mean, stddev))
{
_tprintf( _T("KernelTime : mean = %6.2f ms, median = %3.0f ms, standard deviation = %6.2f ms\n"), mean,median,stddev);
}if(CalculateStatistics(&userTimes[0], COUNT, median, mean, stddev))
{
_tprintf( _T("UserTime : mean = %6.2f ms, median = %3.0f ms, standard deviation = %6.2f ms\n"), mean,median,stddev);
}
return GetLastError();
}
注意启动Mono和Java程序的命令行与.NET或原生代码有些不同,我也没有使用性能监视计数器。
如果你想知道我为什么没有使用GetProcessTimes提供的创建时间,我可以告诉你有两个原因。首先,对于.NET和Mono,需要DllImport,对于Java需要JNI,这样就使程序变得更加臃肿了;第二个原因是我发现创建时间不是CreateProcess API被调用的真正时间。从本地硬盘运行测试时,由这两个因素引起的时间会相差0-10毫秒,如果是从网络驱动器运行,时间会有数百毫秒的出入,如果是从软盘上运行,甚至可能达到几秒。我把这个时间差叫做预创建时间,我猜测这是因为操作系统没有考虑创建新进程时,从存储介质读取文件所花的时间所致,因为只在冷启动时有这个差异,而热启动就没有。