文本分类器训练

分别用Word2Vec,TfidfVectorizer,HashingVectorizer生成词向量
用’随机梯度下降(SGD)’; ‘感知机(Perceptron)’;
‘朴素贝叶斯分类器(MultinomialNB)’; ‘PA被动感知算法(Passive-Aggressive)’
训练

import numpy as np
import matplotlib.pyplot as plt
from matplotlib import rcParams
import pandas as pd 
import jieba
# 默认情况下，matplotlib不支持中文显示，我们需要进行一下设置。
# 设置字体为黑体，以支持中文显示。
rcParams["font.family"] = "SimHei"
# 设置在中文字体时，能够正常的显示负号（-）。
rcParams["axes.unicode_minus"] = False

df = pd.read_excel("./data/blogs.xlsx",names=['columnid','content'])
stop_words = ['\n','','。','，','|','【','】',':',' ','...','/','.','_','+','=','[',']','-']
# 分词处理
df.content = df.content.map(
    lambda aa : ' '.join([ x for x in " ".join(jieba.cut(str(aa))).split(' ') if x not in stop_words]))
# 写入已分词
df.to_excel('./data/blogs_participled.xlsx')

import pickle
df = pd.read_csv("./data/blogs_participled.xlsx",error_bad_lines=False)
tt = ' '.join([ x for x in df.content])
cco = set(tt.split(' ')) # 转集合去重
# 保存词汇列表
with open('./data/blogswordslist.pickle',mode='wb') as f1:
     pickle.dump(cco,f1)
# 加载词汇列表
with open('./data/blogswordslist.pickle',mode='rb') as f2:
     a_list = pickle.load(f2)
vocabulary = list(a_list)

from gensim.models import W