Keras随笔
文章平均质量分 80
ACDance
关注推荐系统、计算广告领域
展开
-
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-07-初始化权值
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-07-初始化权值 -- 模型训练的时候会首先对权值矩阵和偏置进行初始化。有的是把权值初始化为0,但是这种情况不能适用于带有梯度下降算法的网络。因为每次的残差都一样,那么网络参数就达不到最优了。所以一般常用的就是随机数初始化,保证每个参数都不重复,但是差值也不会很大。随机数初始化一般按照概率分布去取值,比如常用的均匀分布等。原创 2015-10-18 11:25:38 · 15272 阅读 · 0 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-08-规则化(规格化)
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-08-规则化(规格化) -- 通过前几篇的介绍,网络已经选择好了优化器、目标函数、模型以及激活函数。并且给权值选择了初始化方法。那么接下来就是训练。训练过程后会出现什么问题呢?过拟合!而有效解决过拟合的方法就是加入规则项。具体的规则化请见http://blog.csdn.net/niuwei22007/article/details/48929935中对于规则化的介绍。原创 2015-10-18 15:35:03 · 12623 阅读 · 0 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-09-约束限制
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-09-约束限制 -- 除了规则化外,Keras还有一个约束限制功能。函数可以设置在训练网络到最优时对网络参数的约束。这个约束就是限制参数值的取值范围。比如最大值是多少,不允许为负值等。这一部分比较简单,内容很少。原创 2015-10-18 16:06:39 · 5140 阅读 · 1 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-04-目标函数
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-04-目标函数 -- Objective(目标函数),就是常说的代价函数或者损失函数。是训练一个模型另外一个必备的参数。比较常用的就是均方误差和逻辑回归原创 2015-10-14 22:07:42 · 8090 阅读 · 0 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-01-FAQ
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-01-FAQ -- Keras介绍:Keras是一个极度简化、高度模块化的神经网络第三方库。基于Python+Theano开发,充分发挥了GPU和CPU操作。其开发目的是为了更快的做神经网络实验。适合前期的网络原型设计、支持卷积网络和反复性网络以及两者的结果、支持人工设计的其他网络、在GPU和CPU上运行能够无缝连接。原创 2015-10-11 10:07:40 · 39053 阅读 · 13 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-12-核心层
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-12-核心层从这篇开始介绍Keras的Layers,就是构成网络的每一层。Keras实现了很多层,包括核心层、卷基层、RNN网络层等诸多常用的网络结构。下面开介绍核心层中包含了哪些内容。因为这个核心层我现在还没有全部用到,所以会有一部分内容我并不是十分了解,因此直接附带了原文档介绍。希望有了解的博友指点一二。原创 2015-10-20 15:11:30 · 29730 阅读 · 5 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-19-Containers
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-19-Containers -- 本篇介绍的内容主要是网络层容器。这个容器包含着具有相互关系的各种类型的网络层,他们具有统一的API是Layer。原创 2015-10-25 22:06:40 · 4599 阅读 · 0 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-16-Normalization
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-16-Normalization -- 本篇介绍的内容很少,只有一项就是归一化层。顾名思义就是能够对输入输出进行归一化操作的结构层。原创 2015-10-25 18:21:05 · 11631 阅读 · 0 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-18-Noise Layers
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-18-Noise Layers -- 本篇介绍的内容主要是给输入数据加入高斯噪声的。高斯噪声是指噪声数据服从高斯分布。一般图像处理都是用高斯噪声过滤器进行过滤,而此处加入噪声是为了防止过拟合现象。原创 2015-10-25 20:54:32 · 6059 阅读 · 0 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-17-Embedding Layers
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-17-Embedding Layers -- 本篇介绍的内容主要用于NLP(Nature Language Process, 自然语言处理)。Deep Learning 算法已经在图像和音频领域取得了惊人的成果,但是在 NLP 领域中尚未见到如此激动人心的结果,但就目前而言,Deep Learning 在 NLP 领域中的研究已经将高深莫测的人类语言撕开了一层神秘的面纱。本篇内容主要就是用来做词向量的映射与训练。原创 2015-10-25 20:29:28 · 24109 阅读 · 4 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-15-Advanced Activation Layers
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-15-Advanced Activation Layers 前几篇介绍完了主要的核心层—用于构建普通的常用网络,卷积层—主要用于构建卷积神经网络CNN—反馈网络,递归层—主要用于构建递归神经网络/循环神经网络RNN—前馈网络。那么主流的几种网络已经介绍的差不多了。现在来介绍几个比较新的神经网络模型,都是最近几年神经网络领域大牛们根据最新研究的数学算法以及生物生理特性研发的。这几种网络我尚未实际使用过,因此只是简单的介绍一下方法及原创 2015-10-24 01:38:43 · 6212 阅读 · 0 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-13-卷积层
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-13-卷积层 convolution neural network 上一篇介绍了基础核心层,就是用来构建普通网络的基础部件。这一篇主要介绍的是卷积层,主要用于构建卷积神经网络等需要用到卷积操作的神经网络。卷积操作(可以参看博文卷积算子计算方法-卷积操作)的优点就是可以增强原信号特征,增强对原信号位移、形变之后的识别能力,有效降低噪音等。而卷积神经网络是目前来说对图像识别的最好工具,因为它可以有效识别有位移、形变等的图像。下面来看原创 2015-10-23 21:52:09 · 11797 阅读 · 0 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-14-递归层
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-14-递归层 recurrent neural network 上一篇介绍了卷基层,可以用来构建很常见的卷积神经网络等模型。那么今天将要介绍的是递归层,是一个可以用来构建递归网络(RNN)的基础部件。具体的RNN知识,可以参考文章:《深入探究递归神经网络》。如果感觉上面这篇文章比较抽象,那么强烈建议读者阅读一下《递归神经网络不可思议的有效性》,因为它结合实际讲述了RNN的强大。下面来看下递归层都有哪些结构。原创 2015-10-24 00:39:05 · 13414 阅读 · 1 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-11-数据集
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-11-数据集 -- 介绍完了使用,就应该自己动手去实践了,因此,这里再介绍一下实验数据的问题。Keras提供了常用的几种数据集的下载,可以直接拿来用,非常方便。下面我们来看一下。原创 2015-10-18 21:27:46 · 13028 阅读 · 2 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-05-模型
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-05-模型 -- 介绍完了优化器和目标函数,那么剩下的就是训练模型了。这一小节,我们来看一下Keras的Models是如何使用的。Keras可以建立两种模型,一种是线性叠加的,层与层之间是全连接的方式,一个输入,一个输出;另外一种是图型的,输入与输出数量任意,并且可以指定层与层之间的部分连接方式。原创 2015-10-17 20:34:57 · 41011 阅读 · 4 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-03-优化器
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-03-优化器 -- optimizers(优化器)。机器学习包括两部分内容,一部分是如何构建模型,另一部分就是如何训练模型。训练模型就是通过挑选最佳的优化器去训练出最优的模型。 Keras包含了很多优化方法。比如最常用的随机梯度下降法(SGD),还有Adagrad、Adadelta、RMSprop、Adam等。下面通过具体的代码介绍一下优化器的使用方法。最重要的就是SGD,其他的优化器有兴趣的可以自行了解一下。原创 2015-10-14 21:26:30 · 14401 阅读 · 0 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-10-回调
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-10-回调 -- Callbacks(回调函数)是一组用于在模型训练期间指定阶段被调用的函数。可以通过回调函数查看在模型训练过程中的模型内部信息和统计数据。可以通过传递一个回调函数list给fit()函数,然后相关的回调函数就可以在指定的阶段被调用了。原创 2015-10-18 19:26:09 · 14615 阅读 · 2 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-06-激活函数
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-06-激活函数 -- 激活函数也是神经网络中一个很重的部分。每一层的网络输出都要经过激活函数。比较常用的有linear,sigmoid,tanh,softmax等。Keras内置提供了很全的激活函数,包括像LeakyReLU和PReLU这种比较新的激活函数。原创 2015-10-17 22:07:35 · 15393 阅读 · 1 评论 -
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-02-Example
基于Theano的深度学习(Deep Learning)框架Keras学习随笔-02-Example -- 下面来看几个例子,来了解一下Keras的便捷之处。不需要具体去研究代码的意思,只需要看一下这个实现过程。用编程的装饰模式把各个组件模块化,然后可以自己随意的拼装。 首先介绍一个基于Keras做的手写MNIST识别的代码,剩下的就看一下实现过程即可。No.0 用Keras实现MNIST识别。from keras.models import Sequential from ker原创 2015-10-11 21:47:49 · 19623 阅读 · 5 评论