【机器学习】经典问题总结

1 逻辑回归为什么用sigmod函数，以及对应损失函数为什么选极大似然

简答：

首先，我们在建模预测 Y|X，并认为 Y|X 服从bernoulli distribution，所以我们只需要知道 P(Y|X)；其次我们需要一个线性模型，所以 P(Y|X) = f(wx)。接下来我们就只需要知道 f 是什么就行了。而我们可以通过最大熵原则推出的这个 f，就是sigmoid。

为什么选择极大似然（其实等价于交叉熵P111）而不用均方误差呢 参考《深度学习》P114

 

2 激活函数的选择

①以经验得知，一般目标是二分类，激活函数（输出层）可以选择sigmod，否则一般是ReLU比较好

②一般只有回归问题，输出层的激活函数可以是线性的（只有输出层）

 

3 线性回归问题中，R-Squared 是用来衡量回归方程与真实样本输出之间的相似程度

上式一般受样本数量影响，即随着样本增加，必然增大。

改进的版本：

 

上面2个公式都是越接近1说明拟合的越好

4 方差偏差

欠拟合：高偏差，低方差

过拟合：低偏差，高方差