为了看一下autoencoder训练得到的词组中间表示对于语法类别的区分程度,用语法分类(六分类)的任务看看效果。
想顺手试用一下sklearn里的分类器,暂时用了naive bayes 和 svm 两种。期间遇到了些格式问题 ,记录一下。
sklearn里解决分类问题,首先需要实例化一个分类器:
from sklearn.naive_bayes import GaussianNB
from sklearn import datasets
from sklearn.metrics import classification_report
gnb = GaussianNB()
为了看出每个数据对应的文本,事先自己划分好了训练集合测试集,所以loadtxt进来后,train_data, tarin_target,test_data,test_target都是矩阵的形式,
每个词组向量是300维的,所以相当于输入特征有300个特征,分类结果一共有六类。
teain_data:(6266L,300L) float64
train_target:(6266L,1L) int32
test_data: (2682L,300L) float64
test_target: (2682L,1L) int32
接下来是把训练数据丢进分类器里训练。这个地方有个bug, 只接受(nexamples, )这种结构的数据作为y,一维矩阵传进去会有warning(并且导致结果有bug...
所以试了两种方法都可以把一维矩阵转成cloumn vector:
test_target = test_target[:,0]
train_target = np.ravel(train_target)
将train_data,train_target丢进去训练,一个fit搞定~
gnb = gnb.fit(train_data,train_target)
result = gnb.predict(test_data)
然后打印出分类结果~ 自动计算 precision recall F1~
print (classification_report(test_target,result))