- 博客(10)
- 收藏
- 关注
RSS订阅翻译 DeepLearning学习笔记——Dropout
Dropout是一种正则化方法，并且提供了正则化一大类模型的方法。Dropout方法可以被认为是集成大量深层神经网络的使用Bagging 方法。Bagging方法涉及训练多个模型，并在每个测试样本上评估多个模型。当每个模型都是很大的一个神经网络时，这似乎是不切实际的。具体而言，Dropout训练集成了包括所有从基础网络除去所有非输出单元后形成的子网络。每个单元，掩码是独立的。掩码...
2019-06-18 20:59:35
347
翻译 DeepLearning学习笔记——正则化——L1,L2范式
参数范式惩罚，通过对代价函数添加一个参数范式惩罚，限制模型的学习能力。把正则化后的函数记为：当我们在的训练算法在最小化正则化后的代价函数时，会在减少原来的代价函数J的同时减小在某些衡量标准下参数的规模。书上说通常只对权重进行惩罚而不对偏置值做惩罚。精确拟合偏置值所需的数据数量要比拟合权重所需的数据量要少的多。每个权重会指定两个变量如何相互作用（Y=WX，Y和X两个变量）。我们需要在各种条件...
2019-06-15 17:29:34
832
原创 图像处理——傅里叶变换
一、 正交变换首先我们要知道什么是正交矩阵，设A是一个N*N的一个矩阵，如果，则称矩阵A为正交矩阵。又，那么（E是单位矩阵）。由可以知道，A中的行向量两两正交，列向量两两正交，因此可以把行向量或者列向量当作向量空间的基向量。设一个N*1的向量为X，设A为一个N*N的正交矩阵，，这 就是正交变换，其实就是用正交矩阵来进行线性变换叫正交变换，同时还有逆变换。（变换的实质就是对向量的拉伸与旋...
2019-06-12 22:07:32
2640
原创 DeepLearning学习笔记——代价函数（最大似然函数）
在神经网络中，代价函数的选择至关重要，代价函数比如有平方损失函数、似然函数等。大多数现代神经网络使用最大似然函数来训练，意味着代价函数为负的对数似然，对于一种解释最大似然函数的观点是将它看作最小化训练集上的经验分布与模型分布之间的差异，两者之间的差异可以通过KL散度度量。KL散度定义为因为第一项只跟数据生成过程有关，而与模型无关，因此最小化KL散度仅仅只跟后一项有关。最小化K...
2019-06-11 11:00:50
2000
原创 DeepLearning学习笔记——隐藏单元
把上一层的输出通过激活函数后再作为下一层的输入是为了让我们学习到的模型是非线性的。隐藏单元的选择有很多。整流线性单元是隐藏单元极好的默认选择，,但是整流线性单元在g(z)=0的时候，基于梯度的学习是无效的。因此对整流线性单元进行扩展，基于当<0 时，使用一个非零的斜率：。绝对值整流固定=-1,来得到。渗漏整流线性单元讲固定成一个类似0.01的小值，参数化整流线性单元或者PReLU将...
2019-06-11 10:59:46
3548
原创 DeepLearning学习笔记——万能近似定理
谈谈为什么要把上一层的输出经过激活函数后再作为下一层的输入呢？首先谈谈万能近似性质。线性模型，通过矩阵乘法将特征映射到输出()，顾名思义，仅能表示线性函数。线性函数具有易于训练的优点，当使用线性函数时，许多损失函数会导出凸优化问题。但是，我们往往希望我们的系统学习的是非线性函数。那么我们如何要为非线性函数设计模型呢，万幸，具有隐藏层的前馈网络提供了一种万能近似框架。具体来说，万能近似定...
2019-06-10 20:56:55
3360
1
原创 BP神经网络
仅记录一些自己的理解，并不是重头到尾的理解BP神经网络。众所周知，在定义了损失函数后，就要通过对损失函数中的参数进行求导，然后进行梯度下降达到优化的目的。在BP神经网络中，定义了多层的权重W，令其为(把权重W多加一维作为偏置值)。每一层都要进行运算，第i层的结果为,然后还要令他通过激活函数才能作为第i层真正的输出同时作为第i+1层的输入，即。那么就可定义损失函数(label就是真实的标签值...
2019-05-30 20:18:24
237
原创 图像处理基础——插值：双线性插值
放大和收缩数字图像在放大和收缩图像时，我们要进行两步操作：1.计算新的像素在原图的对应位置。1.为这些对应位置赋灰度。若用表示输出的图像，表示输入图像，那么可以把变换定义为：一、赋值问题在这里要注意，为输出的图像，也就是变换后的图像，为输入图像，也就是源图像。源图像经过某种变换生成了输出图像。但是我们找输出图像和源图像的对应点时，并不是用源图像的点，经过某种函数变换x=...
2019-05-30 20:18:01
566
原创 SDG+Momentum and Adam
一、SGD1、随机梯度下降算法存在的问题之一，在形如下图：在沿着X方向上移动时，损失函数的变化会很小但对Y轴方向上的变化会比较敏感，对像这种函数，SGD的表现为：会得到这种'之'字形的过程，其原因是这类函数的梯度与最小值并不是成一条直线，导致会不断的来回波动，并且在X方向上的移动会很缓慢，这不是我们所希望的。并且这种情况在高维空间更加的普通，在神经网络中，参数的数量是非常...
2019-05-28 14:58:09
1255
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人