s610033492的博客

原创 机器学习正则化推导

假设我们的损失函数为cost(w)cost(w)。 　　如果不考虑正则化，我们的任务是：minmin cost(w)cost(w)，沿着梯度一直下降，最后得到极值点对应的ww。 　　 　　但现在我们有一个先验知识：我们认为合理的w应该小一点，不能太大。由于w是一个向量，所以表示为：||w||2≤C||w||^2\leq C，CC是一个常数。 　　如果把边界||w||2=C||w||^2=C