线性回归和逻辑回归

• 线性回归预测结果是一个连续的数值；

• 逻辑回归输出每个可能的选项（非连续）的可能值。

逻辑回归相对于线性回归多了一个sigmoid激活函数，计算出非连续变量对应的概率值。对于非连续变量的预测问题，如果预测结果取值有n个，那么在数据预处理过程中，一般将lable设置为长度为n的向量，其中每个位置的值表示对应数值的概率值（或许其他具有一定意义的数值，反正得有一定的映射规律）。例如如果取值为0~9，那么训练集中label为1的输入对应的输出为[0, 1, 0, 0, 0, 0, 0, 0, 0, 0]，误差/损失计算为预测得到的十维向量与准确取值的差值的MSE（也可以用其他计算方式，记作函数E）。对于层的权重调整，一般使用梯度下降方法，但容易陷入局部最优解（梯度下降法“下得去，出不来”），因此可以考虑使用 对数损失函数。