门控循环单元GRU

一、动机:关注一个序列并不是每个观察值都是同等重要,只需要记住相关的观察(这需要能关注的机制和能遗忘的机制)。

二、门控隐藏状态:普通的循环神经网络和门控循环单元之间的关键区别在于后者支持隐藏状态的门控(或者说选通)。这意味着有专门的机制来确定应该何时 更新 隐藏状态,以及应该何时 重置 隐藏状态。这些机制是可学习的,并且能够解决了上面列出的问题。

(1)重置门和更新门

构造:输入是由当前时间步的输入和前一时间步的隐藏状态给出。两个门的输出是由使用 sigmoid 激活函数的两个全连接层给出。

 数学公式:

 (2)候选隐藏状态(新状态的生成):将重置门 Rt与 常规隐状态更新机制集成,Rt 和 Ht−1 的元素相乘可以减少以往状态的影响,每当重置门 Rt 中的项接近 1 时,就是普通的循环神经网络。对于重置门 Rt中所有接近 0的项,候选隐藏状态是以 Xt作为输入的多层感知机的结果。

 (3)隐藏状态:确定新的隐藏状态 Ht在多大程度上就是旧的状态 Ht−1 ,以及对新的候选状态 H~t 的使用量。每当更新门 Zt 接近 1时,只保留旧状态。此时,来自 Xt 的信息基本上被忽略,从而有效地跳过了依赖链条中的时间步 t。相反,当 Zt 接近 0 时,新的隐藏状态 Ht就会接近候选的隐藏状态 H~t。这些设计可以帮助我们处理循环神经网络中的梯度消失问题,并更好地捕获时间步距离很长的序列的依赖关系。

 (4)总结:

 

  • 重置门(要不要考虑上一步的信息)有助于捕获序列中的短期依赖关系。

  • 更新门(要不要根据X更新H)有助于捕获序列中的长期依赖关系。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是基于鲸鱼算法优化门控循环单元GRU神经网络的MATLAB代码示例: ```matlab %% 数据准备 load('data.mat'); % 加载数据 X = X_train; % 输入数据 X Y = Y_train; % 输出数据 Y inputSize = size(X, 2); % 输入数据维度 outputSize = size(Y, 2); % 输出数据维度 hiddenSize = 10; % 隐藏维度 maxEpochs = 100; % 最大迭代次数 batchSize = 10; % 每个批次的数据量 %% 初始化神经网络参数 params.Wr = randn(hiddenSize, inputSize); params.Ur = randn(hiddenSize, hiddenSize); params.br = zeros(hiddenSize, 1); params.Wz = randn(hiddenSize, inputSize); params.Uz = randn(hiddenSize, hiddenSize); params.bz = zeros(hiddenSize, 1); params.W = randn(hiddenSize, inputSize); params.U = randn(hiddenSize, hiddenSize); params.b = zeros(hiddenSize, 1); params.Wy = randn(outputSize, hiddenSize); params.by = zeros(outputSize, 1); %% 训练神经网络 for epoch = 1:maxEpochs % 随机排列数据 idx = randperm(size(X, 1)); X = X(idx, :); Y = Y(idx, :); % 分批次训练 for batch = 1:batchSize:size(X, 1) % 获取批次数据 X_batch = X(batch:min(batch+batchSize-1, end), :); Y_batch = Y(batch:min(batch+batchSize-1, end), :); % 前向传播 [h, z, r, y] = gru_forward(X_batch, params); % 计算损失 loss = cross_entropy(y, Y_batch); % 反向传播 [grads, dh_next] = gru_backward(X_batch, Y_batch, h, z, r, params); % 更新参数 params = whale_optimize(params, grads); end end %% 预测神经网络输出 X_test = X_test; % 输入数据 X_test [Y_pred, ~] = gru_forward(X_test, params); % 神经网络输出 Y_pred ``` 其中,`gru_forward` 和 `gru_backward` 分别为门控循环单元GRU神经网络的前向传播和反向传播函数,`whale_optimize` 为基于鲸鱼算法的神经网络参数优化函数,具体实现可以参考相关文献或者自行编写。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值