2-7 从已知结果中学习未知问题-回归与分类
主目录点这里
什么是分类
分类的局限性
这里我要补充一下:企业在对文本分类时需要制定一套分类体系,用于克服以上的局限。
- 标签的分类与定义(分类尽可能的精简,有区分度;定义简单明了,并加上一些典型的例子方便参考)
- 多段句子的分类处理(由于打标只能选一个,那么遇到了含有多个标签的语句,可以尝试采取优先级的方式解决)
- 对于样本数量少的语料,可以增加重复的强化理解
- 对标注好的数据还需要进行一到两次的质检,保证标注质量
- 对于实在有歧义或不完整的语料,可以打上特有标签,让大模型引导用户完善问题,不要影响标注质量
常见的分类算法
(早期NLP是用支持向量机来完成的,就是特别慢)简单了解下就好,我后面会详细讲一下神经网络
另一种监督学习-什么是回归
有一个很经典的例子就是kaggle上的一个项目,给你一堆指标,再给你一个房价,然后用指标作回归预测房价,大家可以去看看
当然回归也有很多局限,如下
常见的回归方法
限定条件下,分类和回归相互转化
回归到分类,可以通过标签赋值的形式,比如通过分类算法区分文章质量,可以设定高为9分,中为6分,低为3分,然后根据预测概率计算最终得分。
回归到分类,可以通过设定阈值的方式,例如,对于某个问题,如果回归输出大于某个阈值,则判定为类别1,否则为类别0