深度学习-Deep Learning
文章平均质量分 62
小T是我
只想在一条道上越走越远~
展开
-
深度学习之《线性代数》第一章
n阶行列式主对角线以下(上)的元素都为0的行列式叫做上(下)三角行列式,它的值与对角行列式一样对换定理一 一个排列中的任意两个元素对换 排列改变奇偶性推论 奇排列变成标准排列的对换次数为奇数,偶排列变成标准排列的对换次数为偶数.定理二 n阶行列式也可定义为其中t为行标排列p1,p2,……pn,的逆序数行列式的性质性质一 行列式与它的转置行列式相等(备注:根据定理二证明)性质二 互换行列式的两行(列...原创 2018-05-28 02:21:40 · 992 阅读 · 0 评论 -
神经网络中激活函数的意义和需要满足的条件
(1)非线性:即导数不是常数。这个条件是多层神经网络的基础,保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。下面看一下激活函数使用线性函数时会发生什么由上可见,任意多个线性函数的组合还是线性函数,因此只要隐藏层的输出是线性的,无论多少层,都是和一个隐藏层是一回事,只有在线性回归问题中的输出层才会用到线性激励函数,但是实际上对于回归任务,你完全可以不使用激活函数。(2)几乎处...原创 2018-08-08 00:14:24 · 10077 阅读 · 0 评论 -
tf.nn.dynamic_rnn返回值详解
函数原型tf.nn.dynamic_rnn( cell, inputs, sequence_length=None, initial_state=None, dtype=None, parallel_iterations=None, swap_memory=False, time_major=False, scope=N...原创 2018-08-01 17:31:06 · 24462 阅读 · 12 评论 -
tf.nn.max_pool,tf.nn.conv2d,tf.layers.conv2d输入输出shape总结
通过卷积神经网络训练数据集的时候,卷积层,池化层的shape出错就会crash,下面总结一下:tf.nn.conv2d原型:tf.nn.conv2d( input, filter, strides, padding, use_cudnn_on_gpu=True, data_format='NHWC', dilations=[1, 1...原创 2018-07-30 14:02:06 · 4270 阅读 · 0 评论 -
梯度消失和梯度爆炸原因及其解决方案
当我们需要解决一个非常复杂的问题,例如在高分辨率图像中检测数百种类型的对象,我们可能需要训练一个非常深的DNN,可能需要几十层或者上百层,每层包含数百个神经元,通过成千上万个连接进行连接,我们会遇到以下问题:首先,梯度消失或梯度爆炸其次,训练缓慢第三,训练参数大于训练集的风险梯度消失的原因:生物神经元似乎是用 Sigmoid(S 型)激活函数活动的,因此研究人员在很长一段时间内...原创 2018-08-07 19:22:22 · 79937 阅读 · 11 评论 -
反向传播算法几个重要公式的详细推导
斯坦福大学《Machine Learning》第五周学习过程中,对反向传播算法的几个公式看得云里雾里的,这里做一个详细的推导和总结公式一:公式二: 公式三:首先已知,这个是我们定义的,不用推导,但是为什么要这样定义呢?我们给神经元的加权输入添加一点改变,这就导致了神经元的输出变成了,而不是之前的。这个改变在后续的网络层中传播,最终使全部代价改变了。因此,可以用来衡量神经元里的错误量....原创 2018-06-20 22:07:08 · 5756 阅读 · 1 评论 -
深度学习之Octave使用五
控制语句for循环>> v=zeros(10,1);>> for i=1:10,v(i) = 2^i;end;>> vv = 2 4 8 16 32 64 128 256 512 1024索引>> indices = 1:10;>>...原创 2018-06-10 22:30:29 · 525 阅读 · 0 评论 -
深度学习之Octave使用四
绘图>> t=[0:0.01:0.98];>> y1 = sin(2*pi*4*t);>> plot(t,y1);>> y2 = cos(2*pi*4*t);>> plot(t, y1);>> hold on; % hold on函数 的功能是将 新的图像绘制在 旧的之上>> plot(t, y2, '原创 2018-06-10 20:54:39 · 657 阅读 · 0 评论 -
深度学习之Octave使用三
数据的运算矩阵相乘A*B矩阵点乘C = A.*B(A的每个元素与B中对应的元素相乘,Cij = Aij*Bij)矩阵A.^2,A中每个元素平方矩阵1./A,将A中每个元素取倒数矩阵log(A),将A中每个元素进行求对数运算矩阵exp(A),将A中每个元素,以e为底,以这些元素为幂的运算矩阵abs(A),将A中每个元素取绝对值V = [1;2;3],则V+1的结果和V+ones(length(V),...原创 2018-06-10 19:48:06 · 698 阅读 · 0 评论 -
深度学习之Octave使用二
>> A = [1 2;3 4;5 6]A = 1 2 3 4 5 6>> sz = size(A)sz = 3 2>> size(A,1)ans = 3>> length(A)ans = 3>> B = [1 2 3 4 5 6];>> length(B)ans...原创 2018-06-10 17:20:38 · 647 阅读 · 0 评论 -
深度学习之Octave使用一
基本的数学运算>> 3+5ans = 8>> 3*7ans = 21>> 2/5ans = 0.40000>> 3^3ans = 27逻辑运算>> 2==7ans = 0>> 0~=1 %not equal toans = 1>> 1 && 0 %an原创 2018-06-10 15:44:14 · 832 阅读 · 0 评论 -
为什么正则化能够降低过拟合
我们通过实验发现正则化能帮助减少过拟合。这是令人高兴的事,然而不幸的是,我们没有明显的证据证明为什么正则化可以起到这个效果!一个大家经常说起的解释是:在某种程度上,越小的权重复杂度越低,因此能够更简单且更有效地描绘数据,所以我们倾向于选择这样的权重。尽管这是个很简短的解释,却也包含了一些疑点。让我们来更加仔细地探讨一下这个解释。假设我们要对一个简单的数据集建立模型:这个数据是现实世界某个问题提取得...转载 2018-06-15 19:15:44 · 2889 阅读 · 0 评论 -
深度学习之Hessian矩阵在牛顿法中的应用
对于多维函数,每个点在每一个方向上的导数是不同的,如果使用梯度下降,有可能在某一方向上导数增加很快,而在另外一方向上增加很慢,梯度下降是不知道导数的这些信息的,因为梯度只是一阶导数,只有二阶导数能反应一阶导数的变化情况,也就是Hessian矩阵。一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化.1), 求解方程并不是所有的方程都有求根公式, 或者求根公式很复杂, 导致求解困...原创 2018-06-06 14:52:13 · 2035 阅读 · 0 评论 -
深度学习之Hessian矩阵正负定讨论
当Hessian是正定的(所有特征值都是正的),则该临界点是局部极小点。同理,当Hessian是负定的(所有特征值都是负的),则该临界点是局部极小点。注意,我们这里讨论的点都是临界点,即f'(x) = 0的点,且函数都是连续可导的。首先讨论一元函数的临界点,通过二阶泰勒公式展开得已知f'(x0) = 0,那么当f''(x0) > 0时,f(x) > f(x0),也就是x0点是f(x)的...原创 2018-06-06 01:33:59 · 19629 阅读 · 0 评论 -
深度学习之《线性代数》第五章
向量的内积,长度及正交性齐次线性方程组方阵的特征值与特征向量相似矩阵原创 2018-05-29 13:23:12 · 652 阅读 · 0 评论 -
深度学习之全概率公式和贝叶斯公式
全概率公式贝叶斯公式实例解析一个箱子里面有M个球,分为红,黄,蓝三种颜色,红球的概率为P(r),黄球的概率为P(y),蓝球的概率为P(b),其中它们又分别分成大,中,小三种尺寸,红球中大球概率为P(l|r),黄球中大球概率为P(l|y),红球中大球概率为P(l|b)。箱子一次从出口滚出一个球,则滚出的球是大球的概率:P(l) = P(l|r)P(r)+P(l|y)P(y)+P(l|b)P(b). ...原创 2018-06-04 00:32:32 · 1340 阅读 · 0 评论 -
深度学习之《线性代数》第二章
矩阵的运算若A≠O,而A(X-Y)=O,不能得出X=Y的结论由矩阵的结合律可以得出:矩阵的转置方阵的行列式iii可推得|AB|=|BA||A|和|B|都是行列式,最终都只是一个数值,因此|A||B|=|B||A|,也即|AB|=|BA|...原创 2018-05-28 16:20:31 · 310 阅读 · 0 评论 -
几个经典卷积神经网络技术点总结
原文地址:CNN浅析和历年ImageNet冠军模型解析 卷积神经网络原理浅析 卷积神经网络(Convolutional Neural Network,CNN)最初是为解决图像识别等问题设计的,当然其现在的应用不仅限于图像和视频,也可用于时间序列信号,比如音频信号、文本数据等。在早期的图像识别研究中,最大的挑战是如何组织特征,因为图像数据不像其他类型的数据那样可以通过人工理解来提取...转载 2018-08-30 18:38:19 · 18153 阅读 · 0 评论