机器学习笔记（1）

最新推荐文章于 2024-09-12 15:03:02 发布

来自新世界、

最新推荐文章于 2024-09-12 15:03:02 发布

阅读量1.9k

点赞数 4

分类专栏：机器学习文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/qq_61094172/article/details/121236905

版权

详情参考：(16条消息) 李宏毅2020机器学习课程笔记（一）_⚡-CSDN博客

https://andyguo.blog.csdn.net/article/list/4

李宏毅2020机器学习课程笔记（一）_⚡-CSDN博客

1.机器学习概念：

定义模型集合/函数集合。
定义损失函数（LOSS）来评价模型/函数好坏。
最佳函数

梯度下降（Gradient Descent ）：

回归问题的损失函数是凸函数（convex），意味着一定会找到全局最优解。但是，其它的机器学习问题中，多个参数的梯度下降可能会陷入局部最优解。

过拟合、欠拟合的问题及解决方法：

过拟合时，使用正则化。
正则化的作用是降低模型的泛化误差。

回归问题的机器学习三步骤：

1.定义模型集合：f=w⋅x+b

2.定义损失函数（LOSS）来评价模型好坏

3.选择最佳模型

2.偏差（bias）和方差

（详情参考）

【李宏毅机器学习CP5-8】(task3上)误差分析+梯度下降优化_明确目标，勿欺骗自己，小白冲冲冲-CSDN博客

偏差：平均模型（对用所有训练集得到的所有模型求平均值）与真实模型之间的差距
方差：用所有训练集得到的所有模型本身也各不相同，他们的变动水平即方差

首先 Error = Bias + VarianceError反映的是整个模型的准确度，Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性

（举一个例子，一次打靶实验，目标是为了打到10环，但是实际上只打到了7环，那么这里面的Error就是3。具体分析打到7环的原因，可能有两方面：一是瞄准出了问题，比如实际上射击瞄准的是9环而不是10环；二是枪本身的稳定性有问题，虽然瞄准的是9环，但是只打到了7环。那么在上面一次射击实验中，Bias就是1,反应的是模型期望与真实目标的差距，而在这次试验中，由于Variance所带来的误差就是2，即虽然瞄准的是9环，但由于本身模型缺乏稳定性，造成了实际结果与模型期望之间的差距）

1）评估x的偏差bias

假设 x 的平均值是 μ ，方差为 $\sigma ^{2}$

评估平均值要怎么做呢？

2）评估x的方差variable

3）方差VS偏差

欠拟合（underfitting）：误差来源于bias——模型不能很好地拟合训练数据

过拟合（overfitting）：误差来源于variance——模型拟合了训练数据，但在测试数据上有很大误差。

三.训练集（鞍点，驻点）

注1：将训练数据分为测试集和验证集。

做实验、发表论文时所谓的测试集，实际上是一个public testing set，而真正的测试集是一个private testing set，是一个谁也不知道的东西（我们不知道后人会输入什么数据到模型中），因此，我们不应该以public testing set作为选择模型的标准，而是应该以validation的结果来选择最好的模型。
注2：用validation选好模型后，可以把测试集和验证集一起作为训练数据，再对模型进行一次训练。但是！千万不要在看到public testing set的结果后，再想着去调整训练好的模型，这样的调整是无意义的。