机器学习方法总结

机器学习方法总结

正则化项

给目标函数的取值增加取值范围，限定解的区间，原理是微分方程求解限定解空间。
实际上正则化的目标是在限定的解空间中寻找方程的最优解，以达到减轻过拟合问题。

LR(逻辑回归)

LR目标是寻找一个映射，将Z转换成0或1。
可以使用阶跃函数，但是阶跃函数性质不好，不可导求解过于复杂，这里选用Sigmoid函数。
求得预测值为y的概率表达式为：

假设样本独立且同分布，最大似然估计：

那么，LR的损失函数是

损失函数表征预测值与真实值之间的差异程度，P(Y|X)为样本为Y的概率，数值越大说明预测值与真实值越接近即损失函数应该越小，当P(Y|X)越大的，-logP(Y|X)越小，刚好符合损失函数的定义。

在此损失函数可以取为最大似然估计函数的相反数，其次除以m这一因子并不改变最终求导极值结果，通过除以m可以得到平均损失值，避免样本数量对于损失值的影响。

这里采用随机梯度下降，损失函数求偏导：

迭代公式：

损失函数：表征模型预测值与真实值的不一致程度。记为函数L(Y，f(X))

结构风险函数 = 经验风险项 + 正则项 其中损失函数为经验风险项的重要组成部分

前半部分为经验风险项，后半部分为正则项。