神经网络第一次学习记录

最新推荐文章于 2024-07-21 16:57:44 发布

加里布德

最新推荐文章于 2024-07-21 16:57:44 发布

阅读量45

点赞数

文章标签：神经网络学习机器学习

本文链接：https://blog.csdn.net/qq_44709804/article/details/129856104

版权

线性分类

回归问题与分类问题之间有所差别

回归问题：输出是连续值，如天气预报，股市价格等，使用线性回归；
分类问题：输出是离散值，如图像分类、语音识别等，使用softmax回归。

线性回归

当最终准确结果只取决于两个自变量的时候，设自变量分别为x1与x2，最终结果为 y，此时的推导关系可以线性的表示为： $\hat{y}=w_{1}x_{1}+w_{2}x_{2}+b$ ,其中w1与w2表示为不同自变量所代表的权重，而b代表偏置，均为标量。

模型是基于x1与x2所推导的y的表达式，机器学习术语⾥，该数据集被称为训练集。每一组具体的数据都是一个样本，x1与x2属于特征，而y属于标签，假设我们采集的样本数为n，线性回归模型的房屋价格预测表达式为：

$\hat{y}^{(i)}=w_{1}x_{1}^{(i)}+w_{2}x_{2}^{(i)}+b$

损失函数也称为代价函数，用来衡量格预测值与真实值之间的误差。常常选择平方函数：

$l^{(i)}(w_{1},w_{2},b)=\frac{1}{2}(\hat{y}^{(i)}-y^{(i)})^{2}$

在模型训练中，我们希望找出⼀组模型参数来使训练样本平均损失最小：

$w_{1}^{*},w_{2}^{*},b^{*}=argmin-l(w_1,w_2,b)$

当模型和损失函数形式较为简单时，上⾯的误差最小化问题的解可以直接⽤公式表达出来。这类解称为解析解。然而，⼤多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解称为数值解。在求数值解的优化算法中，小批量随机梯度下降在深度学习中被广泛使用。

模型预测是指模型训练完成后将模型参数在优化算法停⽌时的值分别记作 $\hat{w}_1,\hat{w}_2,\hat{b}$ ,此时并不一定是最优解 $w_{1}^{*},w_{2}^{*},b^{*}$ ，而是一个近似，对最优解的估计。得到线性回归模型后便可输入其他自变量估算任意目标值，也称为模型预测。神经网络图表示如下：