什么是cost function，什么事regularization？

最新推荐文章于 2023-07-13 16:16:20 发布

瓜瓜_

最新推荐文章于 2023-07-13 16:16:20 发布

阅读量915

点赞数

分类专栏：脑洞大开文章标签：脑洞统计

本文链接：https://blog.csdn.net/u011048251/article/details/70155369

版权

脑洞大开专栏收录该内容

6 篇文章 0 订阅

订阅专栏

本文探讨了在使用传统统计机器学习方法处理问题时，如何通过改进Cost Function来提高模型的泛化性能。文中提到，尽管传统的Cost Function能够评估模型的好坏，但实际应用中可能效果不佳。因此，引入Regularization来限制模型复杂度，从而达到简化模型并提高泛化能力的目的。作者还提出了关于如何定义Total Loss的新想法。

摘要由CSDN通过智能技术生成

趁着老大出差，在工位上写点以前想的东西。当我们用传统的统计机器学习方法处理问题时，我们需要定义一个cost function以衡量模型的好坏。但在实际场景中，我们的这个cost function的泛化性能未必好，所以，in the process of data mining，我们一直想做的事情就是如何找到一个更好的cost function。 Regularization这是就出现了，从某种意义上来说，它是给现有的参数加了一个限制，由于Ocam’s Razor的原理，一个简单的模型会有更好的泛化能力。那么换句话说，cost functin + Regularization是不是一个对数据更好的模型假设呢。训练数据时，total cost = cost function + Regularization。如果非要用训练数据来估计其泛化loss，其实我更愿意用cost function，而不是total cost，所以，有的时候在思考问题时，我想找一个新的表达式来定义total loss，大概思路是不对所有的数据进行正则化。

暂时脑子很乱，组织下语言，有时间再更新博客。