C++实现Chi-square 特征词选择算法

作者：finallyliuyu(转载请标明原作者与出处)

在文本分类问题中，离不开特征词选择模块。特征选择是特征降维的关键步骤。

1. 首先我们给出一般性的特征词选择模块的伪代码描述：

（此图摘自 C.D. Maning Introduction to InformationRetrieval 原版p251页 或者王斌译版p188页）

此处仅赘述两点，其他还劳请读者自己去看书

1。 上面的伪代码给出的是算法是针对某一个类别，按照某种测度（如IG,CHI-square）遴选出 top k个特征词；伪代码中的 ComputeFeatureUtility(D,t,c)。就是在计算上文提到的“某种测度”

2。针对某个分类问题，如何遴选出全部的特征词？

方法有很多，这里仅指出一种：假设有N个类别，共需要选取K个特征词，那么每个类别需要选取的特征词数目为K/N。

 

下面给出Chi-square的计算公式（出处同上，原版书p256页，王斌译作p192页）：

上面的公式和下面的公式是等价的，可以由下面的公式推导出上面的公式，在计算机实现上，我们通常采用上面的公式。

 

可以说上面的两个公式，通通是在构造一个chi-square 分布的检测统计量（test statistic）（在数理统计中 chi-square 常常用于检测两个事件之间的独立性，如果独立则 chi-square=0 相关知识请查阅 数理统计关于 假设检验的相关章节）

1. 下面开始讲解chi-square特征词选择法的具体实现

主流的contingency table的定义。

针对某一个term t 和类别c

N11:该词出现在该类的多少篇文章中；

N10：该词出现的文章有多少篇不再该类中；

N01：该类别中有多少篇文章不含有该词；

N00:训练语料库中共有多少篇文章即不含该词，也不包含在该类中。

 

 

在给出实现代码之前，先来看一段对程序实现会有启发作用的话：

（出处同上，p257页）

这段话引出了一个数据结构：它保存了一个词在每个类别中出现和不出现的情况：比如有n个类别，那么这个数据结构的每一行保存的是：N11,N01。 在我的代码中，我把这个数据结构亦称作是contingency table和主流的contingency table定义可能会稍有区别，不过既然有了N11,N01,在根据程序中其他的数据结构很容易能够得到主流定义模式下的contingency table。

下面开始给出实现代码（如果程序中的一些函数的代码我没有给出，请参阅《K-means文本聚类系列（已经完成）》里面的相关函数）

用到的主要数据结构：

1。词典：保存一个词在训练语料集合中的每篇文章中出现的次数   数据类型map<string,vector<pair<int,int>> >

2。contingency table（功能见上面叙述） 数据类型：map<pair<string,string>,pair<int,int> >

map的键由两个部分组成第一个string代表term, 第二个string代表类别， 值中的第一个int 是 N11,第二个int 是N01

获得contingency table的函数

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49

/************************************************************************/ /* 获得每个词的ContingencyTable  *顶层map的键值为词的(term Text,classLabel) 内层map的键值为类别名称 pair<int,int>的第一个int表示某一类别c中含有term t的文章数目,第二个int表示该类别中不含有term t的文章数目 */ /************************************************************************/ map<pair<string,string>,pair< int , int > >Preprocess::GetContingencyTable(map<string,vector<pair< int , int >> > &mymap, vector<string> classLabels) {        clock_t  start,finish;      double  totaltime;      start= clock ();       map<string,vector< int > >articleIdsEachClass=GetArticleIdinEachClass(classLabels);       map<pair<string,string>,pair< int , int > >EntireContigencytable;      //对于词袋子模型中的每个词      for (map<string,vector<pair< int , int > > >::iterator it=mymap.begin();it !=mymap.end();++it)      {   //对于每个类别          if (it->first!= "" ||it->first!= " " )          {              for (map<string,vector< int > >::iterator it1=articleIdsEachClass.begin();it1!=articleIdsEachClass.end();it1++)              {                    int  cntTheClass=(it1->second).size(); //该类别共有文章数目                  int  termInTheClass=0; //该词在该类中出现的次数                  for (vector<pair< int , int > >::iterator it2=(it->second).begin();it2!=(it->second).end();it2++)                  {                      termInTheClass+=count((it1->second).begin(),it1->second.end(),it2->first);                    }                  int  termAbsentInTheClass=cntTheClass-termInTheClass;                  pair<string,string> compoundKey=make_pair(it->first,it1->first);                  pair< int , int > valueInfo=make_pair(termInTheClass,termAbsentInTheClass);                  EntireContigencytable[compoundKey]=valueInfo;                  termInTheClass=0; //清空计数；                }            }                          }      finish= clock ();      totaltime=( double )(finish-start)/CLOCKS_PER_SEC;      cout<< "建立contingencyTable的时间为" <<totaltime<<endl;          return  EntireContigencytable;     }

由于构造contingency table 要远比 将构造好的contingency table序列化到硬盘，然后需要的时候读取到内存的时间长（我的机器上：建立contingency table 历时233.41sec，将contingency table从硬盘序列化到内存的时间为0.954 sec）所有这里给出了针对contingency table序列化和反序列化的函数

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43

/************************************************************************/ /* 将关联表保存到本地硬盘                                                                     */ /************************************************************************/ void  Preprocess::SaveContingencyTable(map<pair<string,string>,pair< int , int > >&contingencyTable) {       ofstream outfile( "F:\\Cluster\\contingency.dat" ,ios::binary);      for (map<pair<string,string>, pair< int , int > >::iterator it=contingencyTable.begin();it!=contingencyTable.end();it++)      {          outfile<<(it->first).first<< " " <<(it->first).second<< " " <<(it->second).first<< " " <<(it->second).second<<endl;      }      outfile.close();     } /************************************************************************/ /* 将关联表信息从硬盘加载到内存                                                                     */ /************************************************************************/ void  Preprocess::LoadContingencyTable(map<pair<string,string>,pair< int , int > >&contingencyTable) {       clock_t  start,finish;      double  totaltime;      start= clock ();      ifstream infile( "F:\\Cluster\\contingency.dat" ,ios::binary);      string termtext= "" ;      string classLabel= "" ;      int  presentNum=0; //该term 在该classLabel下的文章中出现的次数(不计算出现重数)      int  absentNum=0; //该classLabel下的文章中不含有该term的文章数目      while (!infile.eof())      {          infile>>termtext;          infile>>classLabel;          infile>>presentNum;          infile>>absentNum;          pair<string, string> compoundKey=make_pair(termtext,classLabel);          pair< int , int > valinfo=make_pair(presentNum,absentNum);          contingencyTable[compoundKey]=valinfo;      }      infile.close();      finish= clock ();      totaltime=( double )(finish-start)/CLOCKS_PER_SEC;      cout<< "将contingencyTable加载到内存的时间为" <<totaltime<<endl;   }

 

计算chi-square值的函数：

1 2 3 4 5 6 7 8 9

/************************************************************************/ /* 计算CHI-square 值                                                */ /************************************************************************/ double  Preprocess:: CalChiSquareValue( double  N11, double  N10, double  N01, double  N00) {      double  chiSquare=0;      chiSquare=(N11+N10+N01+N00)* pow ((N11*N00-N10*N01),2)/((N11+N01)*(N11+N10)*(N10+N00)*(N01+N00));      return  chiSquare; }

 

针对每个类别计算所有词的chi-square并按照chi-square值按从高到低排列：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41

计算词袋子中的每一个词对某一类别的卡方值 /************************************************************************/ vector<pair<string, double > > Preprocess::ChiSquareFeatureSelectionForPerclass(map<string,vector<pair< int , int >> >&mymap,map<pair<string,string>,pair< int , int > > &contingencyTable,string classLabel) {   int  N=endIndex-beginIndex+1; //总共的文章数目      vector<string>tempvector; //词袋子中的所有词      vector<pair<string, double > > chisquareInfo;      for (map<string,vector<pair< int , int >>>::iterator it=mymap.begin();it!=mymap.end();++it)      {          tempvector.push_back(it->first);      }      //计算卡方值      for (vector<string>::iterator ittmp=tempvector.begin();ittmp!=tempvector.end();ittmp++)      {          int  N1=mymap[*ittmp].size();          pair<string,string> compoundKey=make_pair(*ittmp,classLabel);          double  N11= double (contingencyTable[compoundKey].first);          double  N01= double (contingencyTable[compoundKey].second);          double  N10= double (N1-N11);          double  N00= double (N-N1-N01);          double  chiValue=CalChiSquareValue(N11,N10,N01,N00);          chisquareInfo.push_back(make_pair(*ittmp,chiValue));                    }      //按照卡方值从大到小将这些词排列起来      stable_sort(chisquareInfo.begin(),chisquareInfo.end(),isLarger);      /*ofstream outfile("F:\\Cluster\\other.dat");      int finalKeyWordsCount=0;      for(vector<pair<string,double> >::size_type j=0;j<chisquareInfo.size();j++)      {          outfile<<chisquareInfo[j].first<<";"<<chisquareInfo[j].second<<endl;          finalKeyWordsCount++;      }      outfile.close();*/          return  chisquareInfo;     }

针对整个分类问题的chi-square特征词选择法。在本例中，共有三个类别

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63

/************************************************************************/ /* 卡方特征词选择算法                                                                     */ /************************************************************************/ void  Preprocess::ChiSquareFeatureSelection(map<string,vector<pair< int , int >> > &mymap,map<pair<string,string>,pair< int , int > > &contingencyTable, int  N) {      clock_t  start,finish;      double  totaltime;      start= clock ();      int  N1=18693;      int  N2=23822;      int  N3=15717;      int  threshold1=N1*N/(N1+N2+N3);      int  threshold2=N2*N/(N1+N2+N3);      int  threshold3=N3*N/(N1+N2+N3);      string classlabel1= "xxxx" ;      string classlabel2= "yyyy" ;      string classlabel3= "zzzz" ;      vector<string> classLabels;      classLabels.push_back( "xxxx" );      classLabels.push_back( "yyyy" );      classLabels.push_back( "zzzz" );      vector<pair<string, double >>chisquareInfo1;      vector<pair<string, double >>chisquareInfo2;      vector<pair<string, double >>chisquareInfo3;      chisquareInfo1=ChiSquareFeatureSelectionForPerclass(mymap,contingencyTable,classlabel1);      chisquareInfo2=ChiSquareFeatureSelectionForPerclass(mymap,contingencyTable,classlabel2);      chisquareInfo3=ChiSquareFeatureSelectionForPerclass(mymap,contingencyTable,classlabel3);            //stable_sort(chisquareInfo2.begin(),chisquareInfo2.end(),isLarger);      //stable_sort(chisquareInfo3.begin(),chisquareInfo3.end(),isLarger);      cout<< "finish ChiSquare Calculation" <<endl;      set<string>finalKeywords;      for (vector<pair<string, double > >::size_type j=0;j<threshold1;j++)      {          finalKeywords.insert(chisquareInfo1[j].first);        }      for (vector<pair<string, double > >::size_type j=0;j<threshold2;j++)      {          finalKeywords.insert(chisquareInfo2[j].first);      }      for (vector<pair<string, double > >::size_type j=0;j<threshold2;j++)      {          finalKeywords.insert(chisquareInfo3[j].first);      }      ofstream outfile(featurewordsAddress);      int  finalKeyWordsCount=finalKeywords.size();      for  (set<string>::iterator it=finalKeywords.begin();it!=finalKeywords.end();it++)      {          outfile<<*it<<endl;                }      outfile.close();      cout<< "最后共选择特征词" <<finalKeyWordsCount<<endl;      finish= clock ();      totaltime=( double )(finish-start)/CLOCKS_PER_SEC;      cout<< "遴选特征词共有了" <<totaltime<<endl;                   }