目录
4.3IMDB影评得分估计
1、背景
“4.2Titanic罹难乘客预测总结”一节所使用的数据,不论是其形式还是规模都无法与大量现实分析任务涉及的数据相当。因此在本节,如图4-8所示,另选Kaggle上的一项竞赛任务:IMDB影评得分估计。与上节结构化良好的小规模档案数据不同的是,本节的竞赛任务要求参赛者分析电影评论网站的留言,判断每条留言的情感倾向。不仅在规模上要比泰坦尼克号乘客数据大上几个量级,而且原始数据也不及之前的格式化。
2、下载数据
IMDB影评得分估计竞赛任务一共为参赛者提供了4份不同的数据文件,其中包括:已经标有情感倾向的训练文件labeledTrainData.tsv,里面有25000条影评以及对应的情感倾向标识;待测试文件testData.tsv,同样也另有25000条电影评论;还有一份无标注但是数据量更大的影评文件unlabeledTrainData.tsv;最后是一份样例文件sampleSubmission.csv用来告知参赛者最终结果的提交格式。