![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习实战
文章平均质量分 80
深度学习实战
simpsun
日拱一卒无有尽,功不唐捐终入海
展开
-
GRU和LSTM
GRU和LSTMLSTM与GRU的存在是为了解决简单RNN面临的长期依赖问题(由于反向传播存在的梯度消失或爆炸问题,简单RNN很难建模长距离的依赖关系),一种比较有效的方案是在RNN基础上引入门控机制来控制信息的传播。更通俗地说,比如很长一句话,靠后的某个词和靠前的某个词存在某种关联,简单RNN模型很难把这个靠前的这个词的信息传递到后面GRU门控循环单元他能够让你可以在序列中学习非常深的连接GRU相当于LSTM的简化版基本原理引入两个信息控制门Γu=σ(ωu[c⟨t−1⟩,原创 2022-04-05 11:40:55 · 4708 阅读 · 0 评论 -
softmax函数
softmax函数softmax函数如下f(x)i=exi∑j=1nexj,j=1,2,…,nf(x)_{i}=\frac{e^{x_{i}}}{\sum_{j=1}^{n} e^{x_{j}}}, j=1,2, \ldots, nf(x)i=∑j=1nexjexi,j=1,2,…,nsoftmax上溢出(overflow)和下溢出(underflow)问题c 极其大,导致分子计算ece^cec时上溢出。c 为负数,且 |c|很大,此时分母是一个极小的正数,有可能四舍五入为0,导原创 2022-04-05 11:38:54 · 684 阅读 · 0 评论 -
pytorch几种乘法的区别
pytorch几种乘法的区别torch.mul()是矩阵的点乘,即对应的位相乘,要求shape一样, 返回的还是个矩阵torch.mm()是矩阵正常的矩阵相乘,(a, b)* ( b, c ) = ( a, c )torch.dot()类似于mul(),它是向量(即只能是一维的张量)的对应位相乘再求和,返回一个tensor数值torch.mv()是矩阵和向量相乘,类似于torch.mm()np.dot(x,y)如果x,y都是一维张量,那么np.dot(x,y)是∑i=0mxiyi\sum_{i=原创 2022-04-05 11:35:08 · 1923 阅读 · 1 评论