词频统计---python与C++的执行效率分析

Question: 一个全英文文本，统计每个单词出现的次数，按次数从大到小排列，输出到文本文件中。
Data：MIT的Python教程---Python Programming : An Introduction to Computer Science，大约800K。
C++:

#include <stdafx.h>
#include  <windows.h>
#include <fstream>
#include <map>
#include <algorithm>
#include <vector>
#include <string>
#include <iostream>
//   This   class   is   for   getting   the   elapsed   thread   time   of   the   CPU,   the   unit   is   ms  
  //   the   usage   is:    
  //    
  //   CThreadTime   ElapsedTime;  
  //   ElapsedTime.BeginGetElapsedTime();  
  //   TODO:   Your   performance   code  
  //   int   nThreadTine   =   ElapsedTime.EndGetElapsedTime();  
  //  
   
  class   CThreadTime  
  {  
  public:          
          void         BeginGetElapsedTime();  
          __int64   EndGetElapsedTime();  
   
  private:  
          __int64   FileTimeToQuadWord(PFILETIME   pft);  
   
  private:  
          FILETIME   ftKernelTimeStart;  
          FILETIME   ftKernelTimeEnd;  
          FILETIME   ftUserTimeStart;  
          FILETIME   ftUserTimeEnd;  
          FILETIME   ftDummy;  
  };  
   
  //   Get   the   time   elapsed   since   the   thread   start  
  inline   void   CThreadTime::BeginGetElapsedTime()  
  {  
          GetThreadTimes(GetCurrentThread(),   &ftDummy,   &ftDummy,   &ftKernelTimeStart,   &ftUserTimeStart);  
  }  
   
  //   Calculate   the   time   elapsed    
  inline   __int64   CThreadTime::EndGetElapsedTime()  
  {  
          GetThreadTimes(GetCurrentThread(),   &ftDummy,   &ftDummy,   &ftKernelTimeEnd,   &ftUserTimeEnd);  
   
          __int64   qwKernelTimeElapsed   =   FileTimeToQuadWord(&ftKernelTimeEnd)   -   FileTimeToQuadWord(&ftKernelTimeStart);  
          __int64   qwUserTimeElapsed   =   FileTimeToQuadWord(&ftUserTimeEnd)   -   FileTimeToQuadWord(&ftUserTimeStart);  
   
          //   Get   total   time   duration   by   adding   the   kernel   and   user   times.  
          //   the   default   is   100ns,   so   we   convert   it   to   ms  
          return   (qwKernelTimeElapsed   +   qwUserTimeElapsed)   /   10000;  
  }  
   
  inline   __int64   CThreadTime::FileTimeToQuadWord(PFILETIME   pft)    
  {  
          return   (Int64ShllMod32(pft->dwHighDateTime,   32)   |   pft->dwLowDateTime);  
  }
//前面是代码运行时间测试函数,来源于网上,下面是正文
bool countcmp(const wordp &wa,const wordp &wb)
{
  return wa.second > wb.second;
}
void wordscount()
{
    string ifile("d://words.txt"),ofile("d://wordscount.txt");
    ifstream infile(ifile.c_str());
  if(infile){
    wordc wordsmap;
    string str;
    while(infile >> str){
      ++wordsmap[str];
    }
    ofstream outfile(ofile.c_str());
    wordc::iterator iter=wordsmap.begin();
    vector<wordp> vv(wordsmap.begin(),wordsmap.end());
    stable_sort(vv.begin(),vv.end(),countcmp);
    vector<wordp> ::iterator viter=vv.begin();
    while(viter != vv.end()){
      outfile<<viter->first<<" "<<viter->second<<"/n";    
      viter++;
    }
    outfile.close(); 
  }//if(infile)
 
  infile.close();
 
}
int main()
{
  CThreadTime   ElapsedTime;  
  ElapsedTime.BeginGetElapsedTime();  
   
     for(int i=0;i<100;i++)
        wordscount();
   
  int   nThreadTime   =   ElapsedTime.EndGetElapsedTime();  
    cout<<"have used time(millsecond): "<<nThreadTime/100<<endl;
    return 0;
}

WinXp,VS2005开发平台,用时260ms

#include  < fstream >
#include  < map >
#include  < algorithm >
#include  < vector >
#include  < string >
#include  < iostream >
#include  < time.h >
using   namespace  std;
typedef map < string , int >  wordc;
typedef pair < string , int >  wordp;
bool  countcmp( const  wordp  & wa, const  wordp  & wb)
... {
  return wa.second > wb.second;
}
void  wordscount()
... {
    string ifile("./words"),ofile("./wordscount");
    ifstream infile(ifile.c_str());
  if(infile)...{
    wordc wordsmap;
    string str;
    while(infile >> str)...{
      ++wordsmap[str];
    }
    ofstream outfile(ofile.c_str());
    wordc::iterator iter=wordsmap.begin();
    vector<wordp> vv(wordsmap.begin(),wordsmap.end());
    stable_sort(vv.begin(),vv.end(),countcmp);
    vector<wordp> ::iterator viter=vv.begin();
    while(viter != vv.end())...{
      outfile<<viter->first<<" "<<viter->second<<" ";    
      viter++;
    }
    outfile.close(); 
  }//if(infile)
 
  infile.close();
 
}
int  main()
... {
  long st=clock(),end(0);
  for(int i=0;i<100;i++)
   wordscount();
   end=clock();
   cout<<"the time is : "<<difftime(end,st)/100000<<endl;
   return 0;
}

Linux平台，g++ 4.1.2 用时200ms
Python:

import  timeit
import  string
def  compareitems((w1,c1),(w2,c2)):
     if  c1 > c2:
         return   - 1
     elif  c1 == c2:
         return  cmp(w1,w2)
     else :
         return   1


def  main():
    wordf = open( " d:/words.txt " , " r " )
    wordc = open( " d:/wordscount.txt " , " w " )
    worddict  = {}
#      for line in wordf.lines():
#          lst=[]
#          lst=string.split(line)
#          for word in lst:
#              if worddict.has_key(word):
#                  worddict[word] += 1
#              else:
#                  worddict[word] = 1
    lines = wordf.read()
    wlst = string.split(lines)
     for  word  in  wlst:
         try :
            worddict[word]  += 1
             pass
         except  KeyError:
            worddict[word]  = 1
    wlst = []
    wlst = worddict.items()
    wlst.sort(compareitems)
    lines = ""
     for  i  in  range(len(wlst)):
        lines  +=   " %s %d "   %  wlst[i]
    wordc.write(lines)
    wordc.close()
    wordf.close()
    
if   __name__   ==   " __main__ " :
    t = timeit.Timer( " wordcount.main() " , " import wordcount " )
     print  t.repeat( 3 , 100 )
     # t.timeit()

winxp平台, python 2.5 用时 402ms
效率分析:
这两处代码写的都不够优化,但大体反映了C++与python不同的执行效率.
但看到python不到40 行的代码数,优雅的语法,为什么fans喜爱它就不言自明了.

[注]转载请注明出处
本文做为python代码3，题目是一个月前(6.9)想好的，直到今天才真正的写起来，可能很多时候确是没有时间，但是一拖再拖的原因有二： 1.目标没有侧重点，究竟为什么要写这样一个系列，我本意是为google编程竞赛作些准备，但是却被眼前的事情所累，准备接项目，准备开源竞赛，准备购买基金，准备买数码相机...小事很多，我又在小事中间读些BBS，查看Email，玩玩卡丁车，2,最近心态不好，又找不到有效的舒缓渠道，很多事情做不下去...