- 博客(2)
- 收藏
- 关注
原创 动手学深度学习(Pytorch版)task3-5打卡
对于task3-5的内容进行打卡 Task03:过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶 模型复杂度和误差之间的关系 权重衰减的计算公式: Xavier初始化 梯度裁剪 循环神经网络中较容易出现梯度衰减或梯度爆炸,这会导致网络几乎无法训练。裁剪梯度(clip gradient)是一种应对梯度爆炸的方法。假设我们把所有模型参数的梯度拼接成一个向量 g ,并设裁剪的阈值...
2020-02-19 21:57:56 131
原创 动手学深度学习(Pytorch版)task1-2打卡
对于task1-2学习中的重点进行记录 深度学习模型搭建的整体pipeline 数据集处理和读取 定义模型 模型参数初始化 定义损失函数 定义优化函数 训练 Task01:线性回归;Softmax与分类模型、多层感知机 在pytorch中定义模型其实和gluon有些类似,主要包括:封装成类(集成nn.module重写forward函数)、以及使用Sequential的方式来定义。 pytorc...
2020-02-14 20:47:00 172
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人