分类回归和目标函数
分类问题:分类问题预测的是类别,模型输出的是预测的概率分布。
比如三分类的输出为:[0.2,0.6,0.2]
回归问题的输出是一个预测值。模型的输出是一个实数。
为什么需要目标函数:因为参数是逐步调整的,通过调整参数之后目标函数的值可以来评估现模型性能的优劣。
不同的问题使用不同的目标函数,对于分类问题来说,主要目的是度量预测值与真实值之间的差距。
对于一个三分类的预测概率分布为:[0.2,0.6,0.2]
真实值3 -> ont_hot编码为:[0,0,1]
对于分类问题来说,输出的向量长度是类别个数,但只有正整数的位置处为1,其余位置都为0.
作用:可以把一个类别的离散值变为一个分布,然后可以计算两个分布的距离。(平方差损失,交叉熵损失)
对于回归问题来说,
回归问题,直接计算得到的预测值与真实值的差距(平方差损失,绝对值损失)
模型的训练就是调整参数,使得目标函数逐渐变小的过程。