【NLP】电影评论情感分析（基础篇）

学习总结

（1）spacy3.0和2.0的区别：https://spacy.io/usage/v3
（2）Spacy可以GPU训练模型，也可以和huggingface结合使用transformer模型。
（3）本篇特别注意spacy的tokenizer的操作，官网教程。

导言

除了典型的两种数据属性：
连续特征：描述数量
分类特征：固定列表中的元素

还有第三类型：文本。ex：在客户服务中，判断一条消息是投诉还是咨询， 通过判断主题和内容，推出客户的目的，然后给转发给相关部门。

一、用字符串表示的数据类型

四种类型的字符串数据：

• 分类数据：如调查人们最喜欢的颜色，数据集有红色、绿色、蓝色等8个取值。
• 可以在语义上映射为类比的自由字符串：如颜色调查问卷中让人们自己填写喜欢的颜色，有的人写“我弟弟房间的橙色”，这样就不容易和橙色自动对应。
• 结构化字符串数据：地址、人名或者