首先,你需要预处理你的训练数据集,并从任务文本中提取特征(例如,你可以使用简单的单词包、unigram、bigram、tf-idf或更复杂的特征,在文本标记化后(你可以使用标准文本挖掘技术,如删除停止词、词干等)。例如,如果使用简单的弓特征,训练数据集中的示例行可能如下所示:word1 word2 ... wordn jobtitle
3 0 1 XXXXXX
这里的特征是出现在任务文本中的单词,计数反映出现的次数,每行对应一个职位名称。在
现在,在这个数据集上训练一个分类器(例如,naivebayes,SVM,RandomForest,Boosting,多项式Logit,Decision Tree等等),你需要尝试其中的几个(通过在一个被保留的验证数据集上测试它们的性能),看看哪一个最适合你的验证数据集。在
分类器学习一个近似于jobtitle=f(word1, word2,...,wordn)的函数f。在
接下来,要使用分类器对测试数据集进行预测,需要再次对数据进行预处理,将其转换为与训练数据集完全相同的结构。这一次你需要标记化并从你的工作描述中提取特征。样本测试数据集可能如下所示:
^{pr2}$
这里的特征是出现在培训数据集中的相同单词,现在计数将是测试数据集中职务描述中出现的次数。现在,您可以要求经过训练的分类器预测测试数据集中每一行的职务,以及从训练数据集中学习到的函数f的关联概率。在