深度学习
予亭
活泼开朗,爱好广泛。
展开
-
LSTM:长短期记忆网络 (Long short-term memory)
LSTM :Long short-term memory这也是RNN的一个变种网络,在之后大家都可以见到各类变种网络,其本质就是为了解决某个领域问题而设计出来的,LSTM是为了解决RNN模型存在的问题而提出来的,RNN模型存在长序列训练过程中梯度爆炸和梯度消失的问题,无法长久的保存历史信息,而LSTM就可以解决梯度消失和梯度爆炸问题。简单来说,就是相比普通的RNN,LSTM能够在更长的序列中有更好的表现。网络结构LSTM的RNN的更新模块具有4个不同的层相互作用,这四个层分别是:遗忘门σ\s原创 2020-06-20 11:42:13 · 6453 阅读 · 1 评论 -
激活函数
为什么我们需要激活函数 设想一下,如果没有激活函数,神经网络就是一个线性模型,其中输入到输出都是一个线性函数,线性函数是很容易解决的,但是它们的复杂性有限,并且从数据中学习复杂函数映射的能力更小。一个没有激活函数的神经网络只是一个线性回归模型(Linear regression Model),并且即使网络层有很多层,每层有很多神经元,网络结构多复杂,它终归是一个线性模型,跟单层的神经网络比较,...原创 2020-05-05 19:25:09 · 799 阅读 · 0 评论 -
RNN:循环神经网络(Recurrent Neural Network)
前言神经网络现在各种网络结构都有了,每一种网络结构都是针对某些领域问题而提出来的,RNN 循环神经网络同样有它自己的背景,通过这些背景你可以更加认识RNN,甚至未来自己也可以设计自己的网络结构。RNN的提出在RNN之前,大家提出来的网络结构都很独立,他们都只能单独的取处理一个个的输入,前一个输入和后一个输入是完全没有关系的。但是,某些任务需要能够更好的处理序列的信息,即前面的输入和后面的输入...原创 2020-05-05 11:56:42 · 677 阅读 · 0 评论 -
keras疑问
为什么共享图层后,输出向量的形状还不一样# 这一层可以输入一个矩阵,并返回一个 64 维的向量shared_lstm = LSTM(64)# 当我们重用相同的图层实例多次,图层的权重也会被重用 (它其实就是同一层)encoded_a = shared_lstm(tweet_a)encoded_b = shared_lstm(tweet_b)这里重用了shared_lstm 层,但是...原创 2019-11-14 09:31:45 · 334 阅读 · 0 评论