- 博客(13)
- 收藏
- 关注
原创 AI作业12-LSTM
长短期记忆网络有三种类型的门:输入门、遗忘门和输出门。长短期记忆网络的隐藏层输出包括“隐状态”和“记忆元”。只有隐状态会传递到输出层,而记忆元完全属于内部信息。长短期记忆网络可以缓解梯度消失和梯度爆炸。就如在门控循环单元中一样, 当前时间步的输入和前一个时间步的隐状态 作为数据送入长短期记忆网络的门中。它们由三个具有sigmoid激活函数的全连接层处理, 以计算输入门、遗忘门和输出门的值。因此,这三个门的值都在(0,1)的范围内。
2023-05-31 11:18:32
68
原创 AI作业11-RNN
这意味着在较深的层次中,较远的参数接收到的梯度信号非常微弱,导致这些参数更新变得非常缓慢,甚至无法更新。在深度前馈网络中,使用如sigmoid或tanh等饱和性激活函数时,那么网络在训练的过程中就会出现梯度消失的问题,从而影响网络的参数的更新,影响网络的学习,如果梯度设置较大,则可能会导致梯度爆炸使训练变得不稳定。并且它还拥有记忆功能,可以保存和更新过去记录的信息,在RNN处理输入时,可以获取过去曾得到的信息。一种数据的结构,其中的数据按照特定的规则进行排序,例如时间序列数据。
2023-05-31 11:08:28
67
原创 AI作业10-经典卷积网络
GoogLeNet在加深度的同时做了结构上的创新,引入了一个叫做Inception的结构来代替之前的卷积加激活的经典组件。前3条线路使用窗口大小分别是1×1、3×3和5×5的卷积层来抽取不同空间尺寸下的信息,其中中间2个线路会对输入先做1×1卷积来减少输入通道数,以降低模型复杂度。ResNet也称为残差网,残差块由多个级联的卷积层和一个shortcut connections组成,将二者的输出值累加后,通过ReLU激活层得到残差块的输出。2的最大池化层,成功的构建了16~19层深的卷积神经网络。
2023-05-22 14:51:03
68
原创 反向传播试题样例源码
w1, w2, w3, w4, w5, w6, w7, w8 = 0.2, -0.4, 0.5, 0.6, 0.1, -0.5, -0.3, 0.8 # 可以给随机值,为配合PPT,给的指定值。# def forward_propagate(x1, x2, y1, y2, w1, w2, w3, w4, w5, w6, w7, w8): # 正向传播。# def update_w(step,w1, w2, w3, w4, w5, w6, w7, w8): #梯度下降,更新权值。话不多说,代码放下面。
2023-04-25 18:21:46
91
原创 AI作业6-误差反向传播
这么来说,梯度下降的概念有点过于抽象了。使用梯度下降的方法来求解,那么我们可以看成,在抛物线上的一点,每次都向着函数映射值降低的方向移动,而每次又以移动过后的点为基准,继续向着函数映射值降低的方向移动,直到这个点移动到了整个函数的最低点。在人工神经网络算法在实际运行过程中,一般分为输入层、隐藏层、和输入层三类,当算法输出结果和目标结果出现误差时,算法会对误差值进行计算,然后通过反向传播将数值传回至隐藏层,通过修改相关参数进行调整,并再次通过算法计算获取输出结果,通过不断重复该过程,得到与预期相符的结果。
2023-04-24 20:26:36
103
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人