2018年10月_Rookiekk

原创 keras:Sequential API 和 Function API

在使用keras构建深度学习的模型时，遇到了一些关于Sequential API和Function API的疑问。在Keras 0.x中，模型其实有两种，一种叫Sequential，称为序贯模型，也就是单输入单输出，一条路通到底，层与层之间只有相邻关系，跨层连接统统没有。这种模型编译速度快，操作上也比较简单。第二种模型称为Graph，即图模型，这个模型支持多输入多输出，层与层之间想怎么连怎么连...

2018-10-21 15:43:23 1174

原创 python 面向对象编程：类和实例

深度学习在构建网络模型时，看到用类来构建一个模型实例，清晰明了，所以这篇博文主要学习一下python类类和实例：类可以起到模板的作用，因此，可以在创建实例的时候，把一些我们认为必须绑定的属性强制填写进去。通过定义一个特殊的__init__(注意：特殊方法“__init__”前后分别有两个下划线！！！)，方法，在创建实例的时候，就把name，score等属性绑上去：class Stud...

2018-10-18 20:40:19 1430

原创 python生成器generator:深度学习读取batch图片

在深度学习中训练模型的过程中读取图片数据，如果将图片数据全部读入内存是不现实的，所以有必要使用生成器来读取数据。通过列表生成式，我们可以直接创建一个列表。但是，受到内存限制，列表容量肯定是有限的。而且，创建一个包含100万个元素的列表，不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了。所以，如果列表元素可以按照某种算法推算出来，那我们是否可...

2018-10-17 16:44:38 4839 1

原创深度学习：用于multinoulli输出分布的softmax单元

首先说明Bernoulli分布对应sigmoid单元，Multinoulli分布对应softmax单元。了解multinoulli分布请看：机器学习：Multinoulli分布与多项式分布。softmax函数可以看作sigmoid函数的扩展，其中sigmoid函数用来表示二值型变量的分布。为了推广得到具有n个值的离散型变量的情况，现在需要创造一个向量,它的每个元素是。我们不仅要求每个元素介于0...

2018-10-13 20:02:00 1378

原创机器学习：Multinoulli分布与多项式分布

学习深度学习时遇见multinoulli分布，在此总结一下机器学习中常用的multinoulli分布与多项式分布之间的区别于关系，以便更好的理解其在机器学习和深度学习中的使用。首先介绍一下其他相关知识。Bernoulli分布（两点分布）Bernoulli分布是单个二值随机变量的分布。它由单个参数控制，给出了随机变量等于1的概率。 ...

2018-10-13 13:45:38 22284 5

原创 CNN：对于卷积的理解

学习深度学习看到卷积这个operation，为了理解它查了一些资料，有幸看到一个大佬的总结，再加上一些自己的想法，做一个总结。一、卷积的定义内涵：在泛函分析中，卷积、旋积或摺积(英语：Convolution)是通过两个函数f 和g 生成第三个函数的一种数学算子，表征函数f 与g经过翻转和平移的重叠部分的面积。设:f(x),g(x)是R1上的两个可积函数，作积分： ...

2018-10-11 21:08:11 1795

转载神经网络优化：指数衰减计算平均值(滑动平均)

Polyak平均会平均优化算法在参数空间访问中的几个点。如果t次迭代梯度下降访问了点,那么Polyak平均算法的输出是。当应用Polyak平均于非凸问题时，通常会使用指数衰减计算平均值： 1. 用滑动平均估计局部均值　　滑动平均(exponential moving average)，或者叫做指数加权平均(ex...

2018-10-11 15:19:20 8015

原创神经网络优化：病态矩阵与条件数

一、病态矩阵求解方程组时如果对数据进行较小的扰动，则得出的结果具有很大波动，这样的矩阵称为病态矩阵。病态矩阵是一种特殊矩阵。指条件数很大的非奇异矩阵。病态矩阵的逆和以其为系数矩阵的方程组的界对微小扰动十分敏感，对数值求解会带来很大困难。例如：现在有线性方程组： Ax = b，解方程 ...

2018-10-09 11:57:02 9589 10

原创优化算法：牛顿法（Newton法）

学习深度学习时遇到二阶优化算法牛顿法，查阅了相关书籍进行记录。：函数的梯度向量:函数的Hessian矩阵，其第i行第j列的元素为.假设是二阶连续可微函数，。最速下降法因为迭代路线呈锯齿形，固收敛速度慢，仅是线性的。最速下降法本质使用线性函数去近似目标函数。要得到快速的算法，需要考虑对目标函数的高阶逼近。Newton法就是通过二次模型近似目标函数得到的。一、Newton法理论 ...

2018-10-08 19:34:44 15048 2

原创深度学习maxout单元

今天学习深度学习看到整流线性单元及其扩展里的maxout单元，感觉这个有点东西，书中讲的不是特别详细，在此记录一下学习到的东西。参考了http://www.cnblogs.com/tornadomeet 一、相关理论 maxout出现在ICML2013上:《Maxout Networks》,作者Goodfellow将maxout和dropout结合后，号称在MNIST, C...

2018-10-03 16:19:57 3019

Rookiekk