学习总结
(1)spacy3.0和2.0的区别:https://spacy.io/usage/v3
(2)Spacy可以GPU训练模型,也可以和huggingface结合使用transformer模型。
(3)本篇特别注意spacy的tokenizer的操作,官网教程。
文章目录
导言
除了典型的两种数据属性:
连续特征:描述数量
分类特征:固定列表中的元素
还有第三类型:文本。ex:在客户服务中,判断一条消息是投诉还是咨询, 通过判断主题和内容,推出客户的目的,然后给转发给相关部门。
一、用字符串表示的数据类型
四种类型的字符串数据:
- 分类数据:如调查人们最喜欢的颜色,数据集有红色、绿色、蓝色等8个取值。
- 可以在语义上映射为类比的自由字符串:如颜色调查问卷中让人们自己填写喜欢的颜色,有的人写“我弟弟房间的橙色”,这样就不容易和橙色自动对应。
- 结构化字符串数据:地址、人名或者