python权重分类数组_使用带权重的训练集对数据进行分类

首先，你需要预处理你的训练数据集，并从任务文本中提取特征(例如，你可以使用简单的单词包、unigram、bigram、tf-idf或更复杂的特征，在文本标记化后(你可以使用标准文本挖掘技术，如删除停止词、词干等)。例如，如果使用简单的弓特征，训练数据集中的示例行可能如下所示：word1 word2 ... wordn jobtitle

3 0 1 XXXXXX

这里的特征是出现在任务文本中的单词，计数反映出现的次数，每行对应一个职位名称。在

现在，在这个数据集上训练一个分类器(例如，naivebayes，SVM，RandomForest，Boosting，多项式Logit，Decision Tree等等)，你需要尝试其中的几个(通过在一个被保留的验证数据集上测试它们的性能)，看看哪一个最适合你的验证数据集。在

分类器学习一个近似于jobtitle=f(word1, word2,...,wordn)的函数f。在

接下来，要使用分类器对测试数据集进行预测，需要再次对数据进行预处理，将其转换为与训练数据集完全相同的结构。这一次你需要标记化并从你的工作描述中提取特征。样本测试数据集可能如下所示：

^{pr2}$

这里的特征是出现在培训数据集中的相同单词，现在计数将是测试数据集中职务描述中出现的次数。现在，您可以要求经过训练的分类器预测测试数据集中每一行的职务，以及从训练数据集中学习到的函数f的关联概率。在