分类回归与目标函数

分类问题预测的是类别，模型的输出是概率分布

    三分类问题输出例子：[0.2, 0.7, 0.1]

回归问题预测的是值，模型的输出是一个实数值

为什么需要目标函数？

    参数是逐步调整的

    目标函数可以帮助衡量模型的好坏

        Model A:[0.1, 0.4, 0.5]

        Model B:[0.1, 0.2, 0.7]

分类问题

    需要衡量目标类别与当前预测的差距

        三分类问题输出例子：[0.2, 0.7, 0.1]

        三分类真实类别：2->one_hot->[0,0,1]

one_hot编码，把正整数变为向量表达

        生成一个长度不小于正整数的向量，（对于分类问题来说，输出的向量长度是类别个数）只有正整数的位置处为1，其余位置都为0.

作用：可以把一个类别的离散值变为一个分布，然后可以计算两个分布的距离。（平方差损失，交叉熵损失）

 

平方差损失举例

    预测值：[0.2, 0.7, 0.1]

    真实值：[0, 0, 1]

    损失函数值：[(0.2-0)~2+(0.7-0)~2+(0.1-1)~2]*0.5=0.65

回归问题：

预测值与真实值的差距

平方差损失

绝对值损失

模型的训练就是调整参数，使得目标函数逐渐变小的过程。