深度学习
文章平均质量分 95
谓之小一
至大之内,谓之大一!至小之内,谓之小一!
展开
-
LSTM如何解决RNN带来的梯度消失问题
本篇文章参考于 RNN梯度消失和爆炸的原因、Towser关于LSTM如何来避免梯度弥散和梯度爆炸?的问题解答、Why LSTMs Stop Your Gradients From Vanishing: A View from the Backwards Pass。看本篇文章之前,建议自行学习RNN和LSTM的前向和反向传播过程,学习教程可参考刘建平老师博客循环神经网络(RNN)模型与前向反向传...原创 2020-04-25 16:31:33 · 2905 阅读 · 1 评论 -
知识图谱嵌入(KGE)主流模型简介
1. KGE简介目前(2020.03)知识图谱嵌入研究方法众多,本文将对其中的主流方法进行简要介绍,如翻译、双线性、神经网络、双曲几何、旋转等。各方法细节请看原论文,文中错误欢迎指出,谢谢。知识图谱嵌入(Knowledge Graph Embedding, KGE)学习知识库中的实体和关系的Embedding表示,是语义检索、知识问答、推荐等众多应⽤的基础研究。在具体了解KGE之前,我们先...原创 2020-03-19 16:03:29 · 11191 阅读 · 1 评论 -
LSTM神经网络之前向反向传播算法
上篇文章我们已经学习了循环神经网络的原理,并指出RNN存在严重的梯度爆炸和梯度消失问题,因此很难处理长序列的数据。本篇文章,我们将学习长短期记忆网络(LSTM,Long Short Term Memory),看LSTM解决RNN所带来的梯度消失和梯度爆炸问题。1.从RNN到LSTMRNN模型具有如下所示的结构,其中每个索引位置t都有一个隐藏状态h(t)h^{(t)}h(t)。如果省略每层的...原创 2018-11-15 21:43:57 · 2577 阅读 · 1 评论 -
循环神经网络之前向反向传播算法
前面我们已经介绍了深度神经网络和卷积神经网络,这些算法都是前向反馈,模型的输出和模型本身没有关联关系。今天我们学习输出和模型间有反馈的神经网络,循环神经网络(Recurrent Neual Networks),其广泛应用于自然语言处理中的语音识别,书写识别和机器翻译等领域。1.RNN简介前面介绍的DNN和CNN之中,训练样本的输入和输出都是确定的。但对于训练样本输入是连续的序列,训练样本长度不...原创 2018-11-04 17:23:32 · 1816 阅读 · 0 评论 -
卷积神经网络之反向传播算法
前面已经推导学习了卷积神经网络之前向传播算法,本篇文章将推导卷积神经网络之反向传播算法。在学习卷积神经网络算法之前,希望你对深度神经网络有一定程度的了解,我在之前也有写过相关的文章,包括深度神经网络之前向传播算法、深度神经网络之反向传播算法、深度神经网络之损失函数和激活函数、深度神经网络之正则化,可以先看一下再学习卷积神经网络。1.DNN反向传播算法学习CNN(卷积神经网络)反向传播算法之前,...原创 2018-10-21 21:11:28 · 3856 阅读 · 0 评论 -
卷积神经网络之前向传播算法
0.杂谈本来个人是准备毕业直接工作的,但前段时间学校保研大名单出来之后,发现本人有保研机会,于是就和主管请了几天假,回学校准备保研的事情。经过两天的准备,也是非常幸运,成功拿到本院的保研名额。明确得到保研名额的时候已经是9月18号,然而国家推免系统开放时间是9月28号,也就是说我只还有10天时间准备保研,而且这个时间点很多学校夏令营、预报名活动早已结束,不再接受学生申请。所以能够申请的学校也就很...原创 2018-10-20 21:08:40 · 6790 阅读 · 1 评论 -
深度神经网络之正则化
1.正则化之前介绍的文章之中,我们已多次接触到正则化方法,但没有详细的解释为什么要正则化,什么是正则化,以及L1正则化和L2正则化的区别。本次文章之中,我们将详解机器学习中正则化的概念和深度神经网络中的正则化方法。1.1 为什么要正则化?讲到为什么需要正则化,就需要了解什么是过拟合问题。以下面图片为例,我们能够看到有两个类别,其中以X代表男生,O代表女生。我们想要通过学习来...原创 2018-07-04 11:11:36 · 16675 阅读 · 2 评论 -
深度神经网络之反向传播算法
1.DNN反向传播算法简介回顾我们前面学到的监督问题,通常会遇到这种情况,假如有mmm个训练样本,分别为{(x1,y1),(x2,y2),(x3,y3),...,(xm,ym)}{(x1,y1),(x2,y2),(x3,y3),...,(xm,ym)}\{(x_1,y_1),(x_2,y_2),(x_3,y_3),...,(x_m,y_m) \},其中xxx为输入变量,特征维度为n_in,y为...原创 2018-06-28 16:05:50 · 1827 阅读 · 0 评论 -
深度神经网络之前向传播算法
1.深度神经网络简介深度神经网络(Deep Neural Networks,DNN)从字面上理解,也就是深层次的神经网络,从网络结构上看来就是有多个隐含层的神经网络。深度神经网络不仅能够用于分类和回归,在降维、聚类、语音识别、图像识别方面也有许多应用。由于神经网络内容较多,将分多次写作,本次主要讲解深度神经网络中的前向传播算法,后续还有反向传播算法、损失函数和激活函数、正则化。2.从感...原创 2018-06-27 16:20:50 · 1384 阅读 · 0 评论 -
深度神经网络之损失函数和激活函数
1.损失函数和激活函数简介通过前面深度神经网络之前向传播算法和深度神经网络之反向传播算法的学习,我们能够了解到损失函数是用来评估模型的预测值与真实值之间的差异程度。另外损失函数也是神经网络中优化的目标函数,神经网络训练或者优化的过程就是最小化损失函数的过程,损失函数越小,说明模型的预测值就越接近真实值,模型的准确性也就越好。前面我们已经学习过平方损失函数,对数损失函数、交叉熵损失函数等不同形式...原创 2018-06-30 18:35:16 · 20789 阅读 · 0 评论