【机器学习笔记】线性回归相关概念及推导详解

1、闭式解
闭式解也被称为解析解，知是通过严格的公式所求得的解，即包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。通过给出解的具体函数形式，从解的表达式中就可以算出任何对应值。
2、正则化
P.S:推荐参考资料 https://www.jianshu.com/p/569efedf6985
（1）范数
假设 是一个向量，它的 范数定义:

（2）常用正则化方法——惩罚项
在目标函数后面添加一个系数的“惩罚项”是正则化的常用方式，为了防止系数过大从而让模型变得复杂。在加了正则化项之后的目标函数为:

正则化时，对应惩罚项为 L1 范数 :

正则化时，对应惩罚项为 L2 范数:

从上式可以看出， 正则化通过让原目标函数加上了所有特征系数绝对值的和来实现正则化，而