![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习原理
文章平均质量分 82
一些小经验
simpsun
日拱一卒无有尽,功不唐捐终入海
展开
-
GRU和LSTM
GRU和LSTMLSTM与GRU的存在是为了解决简单RNN面临的长期依赖问题(由于反向传播存在的梯度消失或爆炸问题,简单RNN很难建模长距离的依赖关系),一种比较有效的方案是在RNN基础上引入门控机制来控制信息的传播。更通俗地说,比如很长一句话,靠后的某个词和靠前的某个词存在某种关联,简单RNN模型很难把这个靠前的这个词的信息传递到后面GRU门控循环单元他能够让你可以在序列中学习非常深的连接GRU相当于LSTM的简化版基本原理引入两个信息控制门Γu=σ(ωu[c⟨t−1⟩,原创 2022-04-05 11:40:55 · 4708 阅读 · 0 评论 -
softmax函数
softmax函数softmax函数如下f(x)i=exi∑j=1nexj,j=1,2,…,nf(x)_{i}=\frac{e^{x_{i}}}{\sum_{j=1}^{n} e^{x_{j}}}, j=1,2, \ldots, nf(x)i=∑j=1nexjexi,j=1,2,…,nsoftmax上溢出(overflow)和下溢出(underflow)问题c 极其大,导致分子计算ece^cec时上溢出。c 为负数,且 |c|很大,此时分母是一个极小的正数,有可能四舍五入为0,导原创 2022-04-05 11:38:54 · 684 阅读 · 0 评论 -
空洞卷积Dilated/Atrous Convolution
空洞卷积Dilated/Atrous Convolution卷积还没学好,又来一个空洞卷积,慢慢积累吧 o(╥﹏╥)o空洞卷积广泛应用在语义分割与目标检测等任务中为什么需要空洞卷积?以图像分割领域为例,图像输入到CNN中,传统做法就是做卷积再pooling,降低图像尺寸的同时,增大感受野,但是这种方法会导致分辨率下降,会造成一些信息损失什么是空洞卷积?就是在普通的卷机基础上,卷积核中间填充0 ,且有两种方法,第一,卷积核填充0,第二 ,输入等间距采样上面两个图都是第二种方法,第二个原创 2022-04-05 11:36:58 · 2247 阅读 · 0 评论 -
似然函数小结
损失函数小结总是被论文中各种各样奇怪的损失函数折磨,干脆就抽半天专门看看这东西似然函数似然函数是一种关于模型中参数的函数。“似然性likehood”和概率词义相近,但统计学上是完全不同的含义:概率用于在已知参数的情况下,预测接下来的观测结果似然性用于根据一些观测结果,估计给定模型的参数可能值似然函数的本质就是衡量在某个参数下,整体的估计和真实的情况一样的概率,越大代表越相近。负对数似然先从熟悉的两点分布说起,对应二分类问题,其分布律为:P(X=x∣p)=px(1−p)1−x={原创 2022-04-01 19:31:46 · 965 阅读 · 0 评论