动手学深度学习 Task1笔记-线性回归

这篇博客介绍了深度学习的基础,包括线性回归的模型、损失函数、优化方法SGD,以及Softmax分类模型和多层感知机。通过Pytorch实现了相关模型,讨论了ReLU、Sigmoid和tanh等激活函数的应用。
摘要由CSDN通过智能技术生成

# 线性回归;Softmax与分类模型、多层感知机
参加datawhale与伯禹学习平台及K-Lab合作的《动手学深度学习》的Pytorch版本。
2.11-2.14
一、线性回归
线性模型
假设价格只取决于房屋状况的两个因素,即面积(平方米)和房龄(年)。探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:
在这里插入图片描述
损失函数
在模型训练中,需要衡量价格预测值与真实值之间的误差。通常选取一个非负数作为误差,且数值越小表示误差越小。一个常用的选择是平方函数。 样本误差i的表达式为:
在这里插入图片描述
优化函数 - 随机梯度下降-SGD
在求数值解的优化算法中,小批量随机梯度下降(mini-batch stochastic gradient descent)在深度学习中被广泛使用。
其算法为:
1.先选取一组模型参数的初始值(如随机选取);
2.对参数进行多次迭代,使每次迭代都可能降低损失函数的值:
2.1.在每次迭代中,随机均匀采样一个由固定数目训练数据样本所组成的小批量(mini-b

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值