ML-1-定义、过（欠）拟合、正则化

最新推荐文章于 2024-07-25 17:01:05 发布

WujiSixSix6

最新推荐文章于 2024-07-25 17:01:05 发布

阅读量207

点赞数

分类专栏：机器学习文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/qq_41969679/article/details/127268836

版权

机器学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

1. 机器学习概述

1.1 机器学习

概念：机器学习专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。对于机器学习有很多定义，个人认为Tom Mitchell(1988)的三元组定义十分精辟: 以性能度量 $P$ 进行衡量，如果一个计算机程序在某类任务 $T$ 上的性能，随着经验 $E$ 而提升，那么我们称这个计算机程序从经验 $E$ 中学习。
要素:
- 模型：比如线性模型、CNN
- 学习准则（或策略）：数学上表示为损失函数，比如期望风险、MSE、L1 Loss、Cross-Entropy Loss、0-1, quadratic平方、 $\operatorname{max}(0,-g(x)$ （Hinge）等等
- 算法（或优化）：梯度下降、封闭解（closed-form solution, 解析解）、SMO、ADMM
类型:
- 按任务：基本分为1）监督学习：对有标签的数据进行建模，可以预测无标签数据的标签；2）无监督学习：对无标签数据建模，提取数据信息来探索数据内的整体结构等信息；3）强化学习；4）互相交叉（通常是1）和2）交叉）的半监督、伪监督、自监督学习等；5）融合性的，如深度学习、集成学习等。
- 按算法：1）在线学习：每次接受一个样本学习；2）批量学习：如字面。
- 按模型：1）概率和模型（ $f (x)$ 和 $P (Y ∣ X)$ ）; 2）线性和非线性；2）参数化和非参数化；（参数有限且固定，参数无限或者不固定，感知机和决策树）。
- 按技巧：1）贝叶斯学习，贝叶斯推理；2）核方法。

1.2 过拟合、欠拟合

欠拟合: 模型在训练集上误差很大，测试集上也很大，一般是模型处理对应任务的能力不够。
过拟合：模型在训练集上误差很小，但在测试数据上误差很大，一般有训练数据过小、噪音、模型能力过强等原因。

1.3 正则化

解决过拟合的方法有扩大训练集、使用验证器评估模型、正则化等。正则化的目的是一般为了降低经验损失，减小模型复杂度，防止模型过强而带来过拟合。具体来说，正则化就是在损失函数上加上某些规则（限制），缩小解空间，从而减少求出过拟合解的可能性，e.g., 为最小二乘加上L1, L2范数作为正则项形成岭回归、Lasso回归。