Deep Learning
文章平均质量分 83
Lawe
有问题可以直接评论,欢迎指正
展开
-
【Deep Learning】循环神经网络(RNN)推导和实现
主要参考wildml的博客所写,所有的代码都是python实现,并且没有使用深度学习的框架,所以对理解RNN可以起到很大的帮助。一、语言模型 如果一个句子有m个词,那么这个句子生成的概率就是: 其即假设下一次词生成的概率和只和句子前面的词有关,举一个例子:How are you,生成的概率可以表示为: P(How are you) = P(you)原创 2017-07-17 20:45:31 · 1598 阅读 · 0 评论 -
【Deep Learning】tensorflow实现卷积神经网络(AlexNet)
一、实验要求 1.使用卷积神经网络实现图片分类,数据集为OxFlowers17;二、实验环境 Anaconda2-4.3.1(Python2.7),tensorflow-cpu。三、实验原理3.1 数据读取 已知数据集是连续80个样本为一个分类,有17个类别,所以一共只有1360个样本,所以首先用一个函数把每一类的样本分到一个文件原创 2017-05-17 15:59:41 · 5611 阅读 · 2 评论 -
【Deep Learning】Regularization(正则化)
一、正则化(Regularization) 上图来自于吴恩达老师机器学习课程的截取,可以看到,在参数越复杂的情况下,训练函数的拟合效果越好,但是在现实中的训练神经网络中,常常会出现overfitting(过拟合)的问题,减少overfitting的途径包括增大训练数据集的量和在训练过程中进行regulazition(正则化)等方法。其中正则化的定义为旨在减少学习算法的泛化原创 2017-02-16 20:50:33 · 2597 阅读 · 0 评论 -
【Deep Learning】反向传播神经网络
反向传播(back propagation):指用于计算梯度的方法,允许来自代价函数的信息通过网络向后流动,以便计算梯度。一、计算图(computational graph) 为了更加方便和形象的表示计算,使用图中的每一个节点来表示一个变量x,通过有向边,以及引入相应的操作(变量的简单函数),得到输出变量y。如下图所示,有向边汇集处的标识为对节点的变量进行相应的操作。原创 2017-02-08 16:31:02 · 1212 阅读 · 0 评论 -
【Deep Learning】LSTM(Long Short-Term Memory)及变体
通过对RNN理解的基础上(具体可见:【Deep Learning】循环神经网络推导和实现),可以进一步了解LSTM(LongShort-Term Memory,其出现的原因是为了解决RNN对长依赖的句子上表现不好的情况。其本质是通过合理的激活一些信息,避免距离成为信息强度的决定性因素,目前LSTM除了原来的结构外,还衍生出了很多变体。一、RNN与LSTM结构图 通过前一节我们原创 2017-07-18 10:26:50 · 3001 阅读 · 0 评论