- 博客(4)
- 收藏
- 关注
原创 神经网络与深度学习总结-第四周
在这里我定义了RNNmic类,针对图像分类器,其值是图片中每行的数据像素点量,针对手写字体数据其值等于28,input_dim是图片每行的像素数量,hidden_dim是RNN神经元的个数,layer_dim=1是RNN的层数,out_put是隐藏层输出的维度,包含10类图像.RNN在许多领域都有着广泛的应用,包括自然语言处理(NLP),用于语言建模,情感分析,机器翻译等任务,还有时间序列分析用于股票预测,天气预测和信号处理等等,在视频处理方面可以应用于动作识别和视频生成等等.
2024-04-27 11:07:43
1223
原创 神经网络与深度学习第三周总结
模型的训练不是漫无目的的,而是朝着最小化损失函数的方向去训练,通常使用的算法是随机梯度下降(stochastic gradient descent,SGD)算法,它是对一般梯度下降法的改进,每次只取一部分样本进行优化,样本的数量一般是2的整数次幂,取值范围是32-256,以保证计算精度的同时提升计算速度。针对上述SGD算法的缺点,我们将动量引入到优化算法中.动量通过模拟物体运动时的惯性来更新网络中的参数,即更新时会考虑之前参数更新的方向,同时利用当前。下面的图是After Dropout后的神经网络.
2024-04-19 12:24:20
1176
1
原创 神经网络与深度学习总结-第二周
上图是一个损失函数轮廓示例,在进入以蓝色标记的山沟状之前随机开始,颜色表示损失函数在特定点处的值有多大,红色表示最大值,蓝色表示最小值,要达到最小值,需要穿过山沟,这个区域就是病态曲率。然后执行K次模型训练和验证,每次在K-1个子集上进行训练,并在剩余的一个子集(在该轮中没有用于训练的子集)上进行验证,最后通过对K次实验的结果取平均里估计训练和验证误差。再者是训练数据,验证数据和测试数据,通常三者的比例为70%,15%,15%或60%,20%和20%常用的方法包括使用动量法,自适应梯度算法等等。
2024-04-07 10:47:36
166
原创 神经网络与深度学习 第一周总结
首先了解到多层前馈网络,多层感知机是一种多层前馈网络,由多种神经网络构成,每层网络将输出传递给下一层网络,神经元间的权值链接仅出现在相邻层之间,不出现在其他位置。BP学习算法由正向传播和反向传播组成,正向传播是输入信号从输入层经隐层,传向输出层,若输出层得到了期望的输出,则学习算法,否则转至反向传播。线性回归有三个要素分别是训练集,模型,和输出数据,一条训练数据是由一对输入数据和输出数据组成的,输入数据的维度n(即特征的个数)。(4)反向传播计算由输出层,按梯度下降法将误差反向传播,逐层调整权值。
2024-03-31 12:10:29
590
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人