LSTM公式的按元素乘和加

已于 2022-09-20 22:25:36 修改
阅读量599 收藏 2
点赞数
分类专栏： 04-深度学习专栏 文章标签： 深度学习 lstm 人工智能
于 2021-11-20 22:27:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37706204/article/details/121446906
版权

转：LSTM公式的按元素乘_qq_42251308的博客-CSDN博客_按元素乘

关于LSTM公式的按元素乘符号

按元素相乘

在学习LSTM的过程中遇到了一个公式。公式的截图如下：

红色方框中的图片
即红色方框中的符号，有用*表示，也有用⊙符号来表示
公式的解释说符号代表按照元素乘。于是我在网上了解，发现按照元素乘法其实是哈达玛积(Hadamard product)，是矩阵的一种运算。哈达玛积首先保证矩阵的结构相同，把对应位置的数值相乘。举个例子如下：
在这里插入图片描述

舞动的白杨
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
循环神经网络--LSTM（Long-Short Term Memory）与GRU（Gated Recurrent Unit ）
叶强的博客
07-19 6752
LSTM；GRU
js算法--- 数组中元素乘积
丑小鸭变黑天鹅的博客
04-28 3270
数组中元素乘积 要求： 给定某无序数组，要求返回新数组 output ， 其中 output[i] 为原数组中除了下标为 i 的元素之外的元素乘积，要求以 O(n) 复杂度实现： 思路: 假设现在给定一个数组[-2,-2,-3,2] 那么最后要求output的第一个元素为(-2)*(-3)*2=12 第二个元素为(-2) * (-3) * 2=12, 第三个元素为(-2) * (-2) * 2=8, 第四个元素为(-2) * (-2) * (-3)=-12, 可以发现最后一个元素的乘积就是前面三个元素的乘积
LSTM相关论文（中文加英文）
05-06
这是我自己学习时候整理的论文，可以下载以及看看LSTM的相关论文
LSTM公式推导详细解答
03-16
在Alex Graves的这篇论文《Supervised Sequence Labelling with Recurrent Neural Networks》中对LSTM进行了综述性的介绍,并对LSTM的Forward Pass和Backward Pass
RNN,LSTM,GRU基本原理的个人理解重点
kyle1314608的博客
06-22 165
记录一下对RNN,LSTM,GRU基本原理（正向过程以及简单的反向过程）的个人理解 RNN Recurrent Neural Networks，循环神经网络 （注意区别于recursive neural network，递归神经网络） 为了解决DNN存在着无法对时间序列上的变化进行建模的问题（如自然语言处理、语音识别、手写体识别），出现的另一种神经网络结构——循环神经网络RNN。 ...
LSTM公式的按元素乘
qq_42251308的博客
06-15 3360
关于LSTM公式的按元素乘符号 按元素相乘 在学习LSTM的过程中遇到了一个公式。公式的截图如下： 即红色方框中的符号，有用*表示，也有用⊙符号来表示 公式的解释说符号代表按照元素乘。于是我在网上了解，发现按照元素乘法其实是哈达玛积(Hadamard product)，是矩阵的一种运算。哈达玛积首先保证矩阵的结构相同，把对应位置的数值相乘。举个例子如下： ...
pytorch框架中的两种常用乘法
tszupup的博客
08-12 4086
在使用pytorch框架复现模型的时候，我们需要再forward()函数中定义模型的逻辑，这时就要对模型参数使用一些运算，这里简单介绍一下pytorch框架下的两种常用的乘法运算。 1 按元素乘 按元素乘，即张量的对应元素相乘，将每个位置上相乘的结果作为返回值，使用“*”实现。看一下例子： import torch a = torch.Tensor([[1...
机器学习基础--math（16）--各种乘积
wydbyxr的博客
06-22 2076
元素乘法 　　按元素乘法有时候被称为Hadamard 乘积，或者Schur 乘积 卷积 信号与系统等学科中的 　　卷积操作的本质，神经网络中的卷积就是乘累加； 　　信号处理中的卷积就是加权叠加。具体点，平移（无反褶）、叠加。可以看到卷积的重要的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。 楼主这种做法和通常教材上的区别在于：书上...
深度学习中的数学-线性代数
weixin_40994552的博客
04-05 1633
深度学习中的数学-线性代数1 矩阵和向量相乘1.1 标准乘积1.2 元素对应乘积2 线性相关和生成子空间3 范数4 特征分解推荐书目参考 1 矩阵和向量相乘 1.1 标准乘积 如果矩阵 A 的形状是 m × n，矩阵 B 的形状是 n × p，那么矩阵 C 的形状是 m×p。 C=ABC = ABC=AB 具体地，该乘法操作定义为 Ci,j=/C_{i,j}=/Ci,j​=/ 可以理解为 A 中第 i 行与 B 中第 j 列的点积 1.2 元素对应乘积 两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积。不过
LSTM公式详细推导
05-31
这个是我自己整理的LSTM公式的详细推导，欢迎大家免费下载。需要原始Tex文件和LSTM图的可以直接给我要。若有错误，欢迎指正。
LSTM的公式推导详解.pdf
11-19
LSTM的公式推导详解, 一篇很好的解释长短时记忆神经网络的文章
基于LSTM的时间序列训练和预测matlab仿真+matlab操作视频
06-07
2.内容：基于LSTM的时间序列训练和预测matlab仿真+matlab操作视频 3.用处：用于LSTM算法编程学习 4.指向人群：本硕博等教研学习使用 5.运行注意事项： 使用matlab2021a或者更高版本测试，运行里面的Runme_.m...
点乘与逐元素相乘
qq_38335768的博客
03-11 3125
import torch a=torch.Tensor([[1,2,3,4,5],[6,7,8,9,10]]) b=torch.Tensor([[2,4,6,8,10],[1,3,5,7,9]]) 逐元素相乘 element-wise multiplication #element-wise multiplication c=a*b print('c.size:\t',c.size(),'\nc:\t',c) 输出： c.size: torch.Size([2, 5]) c: tensor([[
『Python笔记』列表解析，numpy点乘，按元素相乘，以及转置的处理
AI新视界
03-19 3382
目录 目录 格式 举例 对应元素相乘 element-wise product: np.multiply(), 或 * np.dot() 转置 注意一维行数组的转置,无法成功，需要添加[] 格式 列表解析 　　根据已有列表，高效创建新列表的方式。 　　列表解析是Python迭代机制的一种应用，它常用于实现创建新的列表，因此用在[]中。 语法： 　　[exp...
numpy 数组和矩阵的乘法的理解
bbbeoy的专栏
05-20 4万+
1. 当为array的时候，默认d*f就是对应元素的乘积，multiply也是对应元素的乘积，dot（d,f）会转化为矩阵的乘积，  2. 当为mat的时候，默认d*f就是矩阵的乘积，multiply转化为对应元素的乘积，dot（d,f）为矩阵的乘积            3. 混合时候的情况，一般不要混合   混合的时候默认按照矩阵乘法的, multiply转化为对应
关于numpy prod元素乘积简单理解
weixin_42670810的博客
01-11 1170
关于numpy prod元素乘积简单理解 原函数： numpy.prod(a, axis=None, dtype=None, out=None, keepdims=, initial=) 对numpy数组进行各维度上的求乘积结果。如果没有指出轴向，那么所有元素想乘. 不指定轴向 返回所有元素积 二维 import numpy as np a=[[1,2,3,4],[5,6,7,8]] na=np.array(a) print(na) p=np.prod(na) print() print(p) [[1
python – 如何将列表中的每个元素乘以数字？
qq295109601的博客
07-16 4万+
我有一个列表 my_list = [1, 2, 3, 4, 5] 我如何将my_list中的每个元素乘以5？输出应为： [5, 10, 15, 20, 25] 您只需使用列表解析： my_list = [1, 2, 3, 4, 5] my_new_list = [i * 5 for i in my_list] >>> print(my_new_list) [5, 10, 15, 20, 25] 请注意,列表解析通常是一种更有效的方式来执行for循环： ...
PyTorch 对应点相乘、矩阵相乘
热门推荐
一千零一夜的博客
09-07 10万+
一，对应点相乘，x.mul(y) ，即点乘操作，点乘不求和操作，又可以叫作Hadamard product；点乘再求和，即为卷积 data = [[1,2], [3,4], [5, 6]] tensor = torch.FloatTensor(data) tensor Out[27]: tensor([[ 1., 2.], [ 3., 4.], [ 5....
GCN-LSTM实现时空预测
最新发布
weixin_44992737的博客
07-10 661
GCN-LSTM实现交通流量预测,时空预测,
前向LSTM和后向LSTM计算公式
09-26
前向LSTM的计算公式如下： 1. 输入门（input gate）：i_t = σ(W_i * x_t + U_i * h_(t-1) + b_i) 2. 遗忘门（forget gate）：f_t = σ(W_f * x_t + U_f * h_(t-1) + b_f) 3. 细胞状态更新（cell state update）：g_t = tanh(W_c * x_t + U_c * h_(t-1) + b_c) 4. 细胞状态（cell state）更新：c_t = f_t * c_(t-1) + i_t * g_t 5. 输出门（output gate）：o_t = σ(W_o * x_t + U_o * h_(t-1) + b_o) . 隐状态（hidden state）更新：h_t = o_t * tanh(c_t) 后向LSTM的计算公式与前向LSTM相似，只是输入序列的顺序相反。具体地， 1. 输入门（input gate）：i_t = σ(W_i * x_t + U_i * h_(t+1) + b_i) 2. 遗忘门（forget gate）：f_t = σ(W_f * x_t + U_f * h_(t+1) + b_f) 3. 细胞状态更新（cell state update）：g_t = tanh(W_c * x_t + U_c * h_(t+1) + b_c) 4. 细胞状态（cell state）更新：c_t = f_t * c_(t+1) + i_t * g_t 5. 输出门（output gate）：o_t = σ(W_o * x_t + U_o * h_(t+1) + b_o) 6. 隐状态（hidden state）更新：h_t = o_t * tanh(c_t)

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

舞动的白杨

客官，可否打赏UP主喝杯咖啡？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值