- 博客(13)
- 收藏
- 关注
RSS订阅原创 AI作业12-LSTM
长短期记忆网络有三种类型的门：输入门、遗忘门和输出门。长短期记忆网络的隐藏层输出包括“隐状态”和“记忆元”。只有隐状态会传递到输出层，而记忆元完全属于内部信息。长短期记忆网络可以缓解梯度消失和梯度爆炸。就如在门控循环单元中一样， 当前时间步的输入和前一个时间步的隐状态 作为数据送入长短期记忆网络的门中。它们由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、遗忘门和输出门的值。因此，这三个门的值都在(0,1)的范围内。
2023-05-31 11:18:32
67
原创 AI作业11-RNN
这意味着在较深的层次中，较远的参数接收到的梯度信号非常微弱，导致这些参数更新变得非常缓慢，甚至无法更新。在深度前馈网络中，使用如sigmoid或tanh等饱和性激活函数时，那么网络在训练的过程中就会出现梯度消失的问题，从而影响网络的参数的更新，影响网络的学习，如果梯度设置较大，则可能会导致梯度爆炸使训练变得不稳定。并且它还拥有记忆功能，可以保存和更新过去记录的信息，在RNN处理输入时，可以获取过去曾得到的信息。一种数据的结构，其中的数据按照特定的规则进行排序，例如时间序列数据。
2023-05-31 11:08:28
66
原创 AI作业10-经典卷积网络
GoogLeNet在加深度的同时做了结构上的创新，引入了一个叫做Inception的结构来代替之前的卷积加激活的经典组件。前3条线路使用窗口大小分别是1×1、3×3和5×5的卷积层来抽取不同空间尺寸下的信息，其中中间2个线路会对输入先做1×1卷积来减少输入通道数，以降低模型复杂度。ResNet也称为残差网，残差块由多个级联的卷积层和一个shortcut connections组成，将二者的输出值累加后，通过ReLU激活层得到残差块的输出。2的最大池化层，成功的构建了16~19层深的卷积神经网络。
2023-05-22 14:51:03
68
1原创 反向传播试题样例源码
w1, w2, w3, w4, w5, w6, w7, w8 = 0.2, -0.4, 0.5, 0.6, 0.1, -0.5, -0.3, 0.8 # 可以给随机值，为配合PPT，给的指定值。# def forward_propagate(x1, x2, y1, y2, w1, w2, w3, w4, w5, w6, w7, w8): # 正向传播。# def update_w(step,w1, w2, w3, w4, w5, w6, w7, w8): #梯度下降，更新权值。话不多说，代码放下面。
2023-04-25 18:21:46
91
原创 AI作业6-误差反向传播
这么来说，梯度下降的概念有点过于抽象了。使用梯度下降的方法来求解，那么我们可以看成，在抛物线上的一点，每次都向着函数映射值降低的方向移动，而每次又以移动过后的点为基准，继续向着函数映射值降低的方向移动，直到这个点移动到了整个函数的最低点。在人工神经网络算法在实际运行过程中，一般分为输入层、隐藏层、和输入层三类，当算法输出结果和目标结果出现误差时，算法会对误差值进行计算，然后通过反向传播将数值传回至隐藏层，通过修改相关参数进行调整，并再次通过算法计算获取输出结果，通过不断重复该过程，得到与预期相符的结果。
2023-04-24 20:26:36
102
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人