使用python进行文本分类
from numpy import *
#词汇到向量的转换函数
def loadDataSet():
postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
#1代表侮辱文字 0代表正常言论
classVec = [0,1,0,1,0,1]
return postingList,classVec
#创建词汇表
def createVocabList(dataSet):
vocabSet = set([]) #create empty set
for document in dataSet:
#set() 函数创建一个无序不重复元素集
vocabSet = vocabSet | set(document) #union of the two sets
return list(vocabSet)
#词汇到向量的转换函数
def setOfWords2Vec(vocabList,inputSet):
#创建一个所有元素都为0的向量
returnVec = [0]*len(vocabList)
#遍历文档中的所有单词
for word in input