sklearn 里的分类

为了看一下autoencoder训练得到的词组中间表示对于语法类别的区分程度，用语法分类（六分类）的任务看看效果。

想顺手试用一下sklearn里的分类器，暂时用了naive bayes 和 svm 两种。期间遇到了些格式问题 ，记录一下。

sklearn里解决分类问题，首先需要实例化一个分类器：

from sklearn.naive_bayes import GaussianNB
from sklearn import datasets
from sklearn.metrics import classification_report  
gnb = GaussianNB()

为了看出每个数据对应的文本，事先自己划分好了训练集合测试集，所以loadtxt进来后，train_data, tarin_target,test_data,test_target都是矩阵的形式，

每个词组向量是300维的，所以相当于输入特征有300个特征，分类结果一共有六类。

teain_data:(6266L,300L)   float64

train_target:(6266L,1L) int32

test_data: (2682L,300L)    float64

test_target: (2682L,1L)  int32

接下来是把训练数据丢进分类器里训练。这个地方有个bug, 只接受(nexamples,  )这种结构的数据作为y，一维矩阵传进去会有warning（并且导致结果有bug...

所以试了两种方法都可以把一维矩阵转成cloumn vector:

test_target = test_target[:,0]

train_target = np.ravel(train_target)

将train_data,train_target丢进去训练，一个fit搞定~

gnb = gnb.fit(train_data,train_target)

result = gnb.predict(test_data)

然后打印出分类结果~ 自动计算 precision recall F1~

print (classification_report(test_target,result))