机器学习——学习笔记

最新推荐文章于 2024-07-25 12:32:58 发布

Above the clouds*

最新推荐文章于 2024-07-25 12:32:58 发布

阅读量74

点赞数

文章标签：机器学习

文章目录

监督学与无监督学习

监督学习：我们的学习算法使用的数据是给出正确答案的数据，然后我们运行学习算法，预测出更多的正确答案。（理解为像深度需学习类似，利用训练样本训练处学习模型，然后用测试样本对学习到的模型进行检测，输出预测结果。）
无监督学习：可以理解为对于学习算法所使用的数据集并没有给出正确答案，学习算法就是要对这数据集进行处理，通过特征信息学习出一些规律。如聚类（把一堆数据分成几类吧）。通俗理解，就是学习算法直接使用数据进行学习，没有训练了。

线性回归模型

假设函数即为我们训练集通过学习算法学习到的模型，测试集可以通过这个模型获得预测值，然后可以与真实值进行对比。
在这里插入图片描述

梯度下降

损失函数：这里介绍的损失函数主要是平方误差函数，通过这个函数我们来获得一个最优的假设函数。线性回归模型通常采用，通过一个简单的线性回归模型，来介绍损失函数的作用。
损失函数公式：
$J\left(\theta_{0}, \theta_{1}\right)=\frac{1}{2 \mathrm{m}} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}$
其中 $x^{(i)}$ 是第i个输入，相应的 $y^{(i)}$ 为对应的输出。
我们的目标就是想让损失函数的值最小，因此要求出最优的 $\theta_{0}$ , $\theta_{1}$ ,使的 $J(\theta_{0}, \theta_{1})$ 最小，即
$\left\{\begin{array}{l}J\left(\theta_{0}, \theta_{1}\right)=\frac{1}{2 \mathrm{m}} \sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2} \\ \min \operatorname{mize}_{J}\left(\theta_{0}, \theta_{1}\right)\end{array}\right.$

通常采用梯度下降法来进行迭代求解最优 $\theta_{0}$ , $\theta_{1}$ ，
对损失函数求偏导，得：
$\frac{\partial(\theta, \theta)}{\partial \theta}=\frac{\partial}{\partial g} \frac{1}{2 m} \sum_{i=1}^{m}\left(h\left(x^{(i)}-y^{(i)}\right)\right)^{2}$ 其中j=0,1
获得偏导后，同时更新 $\theta_{0}$ , $\theta_{1}$
即
$\theta_{0}=\theta_{0}-\alpha \frac{\partial J\left(\theta_{0}, \theta_{1}\right)}{\partial \theta_{0}}$
$\theta_{1}=\theta_{1}-\alpha \frac{\partial J\left(\theta_{0}, \theta_{1}\right)}{\partial \theta_{1}}$
其中 $\alpha$ 为学习效率，对损失函数是否收敛有很大的影响，过大，过小都会有影响。在这里插入图片描述
如上图，当 $\alpha$ 过小时，收敛速度会很慢
当 $\alpha$ 过大时，可能会导致损失函数无法收敛情况。

多元线性回归（多特征）

多元线性回归：即输入特征不在是1个，而是多个，
输入为 $X=\left[x_{1}, x_{2}, \ldots, x_{n}\right]$
其中 $X^{i}$ 表示第i个训练样本的输入特征
$X_j^{i}$ 表示第i个训练样本的第j个特征。
假设函数为：
$h_{\theta}(X)=\theta_{0}+\theta_{1} x_{1}+\theta_{2} x_{2}+\ldots+\theta_{n} x_{n}$
在这里插入图片描述