更好的训练数据 - 使用 Python 和 NLTK 进行自然语言处理 第 18 页

本视频是自然语言处理教程系列的一部分，主要讲解如何导入新的数据集。

首先，作者解释了导入新数据集的必要性。一是让大家熟悉操作流程，二是之前使用的数据集不适合未来想要进行的实时推特情感分析项目，因为之前的数据集倾向于将所有内容判定为负面，导致结果不准确。

作者分析了之前数据集判定结果偏差的原因，可能是因为推特文本比训练数据集中的文本短得多，而二元分类器倾向于将短文本判定为负面。

为了解决这个问题，作者找到了一个新的数据集，包含较短的文本片段，同时也有标签，并将其上传到 pythonprogramming.net 供大家使用。

作者展示了如何导入新的数据集，并解释了如何使用这个新的数据集训练算法，使其能够更准确地分析推特情感。

最后，作者强调了数据量的重要性。之前的数据集只有 1000 条正负样本，而新的数据集有 53000 条，这将有助于提高算法的准确性。

经过一番考虑，很明显一个新的数据集可以解决很多问题。 本教程涵盖了使用新数据集以及该过程中涉及的内容。 这次，我们使用一个包含更短的电影评论的电影评论数据集。