(这里是恶意代码的分类)
1.特征提取与向量转换
文本形式,对所有文档构建词典,然后为每一篇文档建立一个TF-IDF方法构建的向量。
首先把文本转换为向量的形式,采用TF-IDF特征提取法,把文本转换为向量形式。
核心代码如下:
对下述代码的解释:
(1)CountVectorizer类会将文本中的词语转换为词频矩阵;其是一个支持文本中词语计数的函数库,我们可以使用其中的函数来分析文本数据来得到特征向量字典,字典中每一个项目的值代表该词语在全部数据中出现的次数。
(2)fit(..)方法来处理原始文本数据,然后使用transform(..)方法来将词汇统计数据转换为tf-idf模型。
(3)toarray()函数得到一个ndarray类型的完整矩阵,其中的每个值代表每个词的TF-IDF值。
(4)weight即是为每一个文本文档构建的向量,其维度为文档的总个数*向量个数
下面即是训练部分,采用的朴素贝叶斯方法,需要导入的库如下: