- 博客(4)
- 收藏
- 关注
RSS订阅原创 神经网络与深度学习总结-第四周
在这里我定义了RNNmic类,针对图像分类器,其值是图片中每行的数据像素点量,针对手写字体数据其值等于28,input_dim是图片每行的像素数量,hidden_dim是RNN神经元的个数,layer_dim=1是RNN的层数,out_put是隐藏层输出的维度,包含10类图像.RNN在许多领域都有着广泛的应用,包括自然语言处理(NLP),用于语言建模,情感分析,机器翻译等任务,还有时间序列分析用于股票预测,天气预测和信号处理等等,在视频处理方面可以应用于动作识别和视频生成等等.
2024-04-27 11:07:43
1223
原创 神经网络与深度学习第三周总结
模型的训练不是漫无目的的，而是朝着最小化损失函数的方向去训练，通常使用的算法是随机梯度下降（stochastic gradient descent,SGD）算法，它是对一般梯度下降法的改进，每次只取一部分样本进行优化，样本的数量一般是2的整数次幂，取值范围是32-256，以保证计算精度的同时提升计算速度。针对上述SGD算法的缺点，我们将动量引入到优化算法中．动量通过模拟物体运动时的惯性来更新网络中的参数，即更新时会考虑之前参数更新的方向，同时利用当前。下面的图是After Dropout后的神经网络.
2024-04-19 12:24:20
1176
1
原创 神经网络与深度学习总结-第二周
上图是一个损失函数轮廓示例，在进入以蓝色标记的山沟状之前随机开始，颜色表示损失函数在特定点处的值有多大，红色表示最大值，蓝色表示最小值，要达到最小值，需要穿过山沟，这个区域就是病态曲率。然后执行K次模型训练和验证，每次在K-1个子集上进行训练，并在剩余的一个子集（在该轮中没有用于训练的子集）上进行验证，最后通过对K次实验的结果取平均里估计训练和验证误差。再者是训练数据，验证数据和测试数据，通常三者的比例为70%，15%，15%或60%，20%和20%常用的方法包括使用动量法，自适应梯度算法等等。
2024-04-07 10:47:36
166
原创 神经网络与深度学习 第一周总结
首先了解到多层前馈网络，多层感知机是一种多层前馈网络，由多种神经网络构成，每层网络将输出传递给下一层网络，神经元间的权值链接仅出现在相邻层之间，不出现在其他位置。BP学习算法由正向传播和反向传播组成，正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法，否则转至反向传播。线性回归有三个要素分别是训练集，模型，和输出数据，一条训练数据是由一对输入数据和输出数据组成的，输入数据的维度n(即特征的个数)。（4）反向传播计算由输出层，按梯度下降法将误差反向传播，逐层调整权值。
2024-03-31 12:10:29
590
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人