# 线性回归;Softmax与分类模型、多层感知机
参加datawhale与伯禹学习平台及K-Lab合作的《动手学深度学习》的Pytorch版本。
2.11-2.14
一、线性回归
线性模型
假设价格只取决于房屋状况的两个因素,即面积(平方米)和房龄(年)。探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:
损失函数
在模型训练中,需要衡量价格预测值与真实值之间的误差。通常选取一个非负数作为误差,且数值越小表示误差越小。一个常用的选择是平方函数。 样本误差i的表达式为:
优化函数 - 随机梯度下降-SGD
在求数值解的优化算法中,小批量随机梯度下降(mini-batch stochastic gradient descent)在深度学习中被广泛使用。
其算法为:
1.先选取一组模型参数的初始值(如随机选取);
2.对参数进行多次迭代,使每次迭代都可能降低损失函数的值:
2.1.在每次迭代中,随机均匀采样一个由固定数目训练数据样本所组成的小批量(mini-b
动手学深度学习 Task1笔记-线性回归
最新推荐文章于 2024-08-13 17:25:37 发布
这篇博客介绍了深度学习的基础,包括线性回归的模型、损失函数、优化方法SGD,以及Softmax分类模型和多层感知机。通过Pytorch实现了相关模型,讨论了ReLU、Sigmoid和tanh等激活函数的应用。
摘要由CSDN通过智能技术生成