【Google 机器学习笔记】七、特征组合与L2正则化

【Google 机器学习笔记】

七、特征组合与L₂正则化

本节是回归模型的最后一节内容，介绍如何使用特征组合使非线性规律转换为线性规律，以及使用L₂正则化降低模型复杂度。

---

概念：

• 特征组合 【Feature cross】：通过将单独的特征进行组合（求笛卡尔乘积）而形成的合成特征。特征组合有助于表达非线性关系。
• L₂ 正则化【L₂ regularization】：一种正则化，根据权重的平方和来惩罚权重。L2 正则化有助于使离群值权重接近于 0，但又不正好为 0。在线性模型中，L2 正则化始终可以改进泛化。

---

特征组合

  对于无法用一条直线进行预测的非线性规律，常常使用特征组合，使其转换为线性规律。

  例如，对于上图特征值 $x_1,x_2$ ，创建一个新的特征值 $x_3$ ，且 $x_3=x_1{x}_{}$