深度学习
Will-kkc
学习是为了更好的生存~
展开
-
RBF(径向基)神经网络
径向基神经网络简介 在上世纪 80 年代J.Moody 和 C.Darken 提出了神经网络结构模型,也被称作径向基函数网络,在这种结构模型中包含三层前馈神经网络。 这种神经网络结构的理论基础是:径向基是作为神经元的隐含基存在的,这些隐含基是构成隐含空间的主要元素,在隐含层可以改变输入的向量,这样就可以实现从低维度到高维度的转变,从而那些在低维度中不能解决的问题在高维度空间中便可原创 2018-01-15 21:13:29 · 11574 阅读 · 0 评论 -
RBF(径向基函数)网络的结构与学习过程
径向基函数网络的结构 径向基函数网络的学习过程原创 2018-01-15 21:59:18 · 3410 阅读 · 0 评论 -
真实机下 ubuntu 18.04 安装GPU +CUDA+cuDNN 以及其版本选择(亲测非常实用)
ubuntu 18.04 安装GPU +CUDA+cuDNN :目前,大多情况下,能搜到的基本上都ubuntu 14.04.或者是ubuntu 16.04的操作系统安装以及GPU 环境搭建过程,博主就目前自身实验室环境进行分析,总结一下安装过程。1.实验室硬件配置(就需要而言): gpu : GeForce titan xp 12G 显存 内存: 6...原创 2018-05-28 22:55:17 · 201574 阅读 · 4 评论 -
神经网络
概述目录概述概述神经网络模型中英文对照概述以监督学习为例,假设我们有训练样本集 ,那么神经网络算法能够提供一种复杂且非线性的假设模型 ,它具有参数 ,可以以此参数来拟合我们的数据。为了描述神经网络,我们先从最简单的神经网络讲起,这个神经网络仅由一个“神经元”构成,以下即是这个“神经元”的图示:这个“神经元”是一个以 及截距 为输入值的运算单元,...转载 2019-02-16 19:07:49 · 334 阅读 · 0 评论 -
反向传导算法
反向传导算法目录反向传导算法推导流程中英文对照推导流程假设我们有一个固定样本集 ,它包含 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲,对于单个样例 ,其代价函数为:这是一个(二分之一的)方差代价函数。给定一个包含 个样例的数据集,我们可以定义整体代价函数为:以上关于定义中的第一项是一个均方差项。第二项是一个规则化项(也叫权重衰减项),其目的...转载 2019-02-16 20:33:44 · 348 阅读 · 0 评论 -
梯度检验与高级优化
梯度检验与高级优化目录梯度检验与高级优化梯度检验中英文对照梯度检验众所周知,反向传播算法很难调试得到正确结果,尤其是当实现程序存在很多难于发现的bug时。举例来说,索引的缺位错误(off-by-one error)会导致只有部分层的权重得到训练,再比如忘记计算偏置项。这些错误会使你得到一个看似十分合理的结果(但实际上比正确代码的结果要差)。因此,但从计算结果上来看,我们很难...转载 2019-02-16 21:12:26 · 249 阅读 · 0 评论 -
自编码算法与稀疏性
目前为止,我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中,训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合 ,其中 。自编码神经网络是一种无监督学习算法,它使用了反向传播算法,并让目标值等于输入值,比如 。下图是一个自编码神经网络的示例。 自编码神经网络尝试学习一个 的函数。换句话说,它尝试逼近一个恒等函数,从而使得输出 接近于输入 。恒...转载 2019-02-16 21:23:11 · 377 阅读 · 0 评论 -
可视化自编码器训练结果
训练完(稀疏)自编码器,我们还想把这自编码器学到的函数可视化出来,好弄明白它到底学到了什么。我们以在10×10图像(即n=100)上训练自编码器为例。在该自编码器中,每个隐藏单元i对如下关于输入的函数进行计算:我们将要可视化的函数,就是上面这个以2D图像为输入、并由隐藏单元i计算出来的函数。它是依赖于参数的(暂时忽略偏置项bi)。需要注意的是,可看作输入的非线性特征。不过还有个问题:什么样...转载 2019-02-16 21:24:03 · 618 阅读 · 0 评论 -
稀疏自编码器符号一览表
下面是我们在推导sparse autoencoder时使用的符号一览表:符号 含义 训练样本的输入特征,. 输出值/目标值. 这里 可以是向量. 在autoencoder中,. 第 个训练样本 输入为 时的假设输出,其中包含参数 . 该输出应当与目标值 具有相同的维数. 连接第 层 单元和第 层 单元的参数. ...转载 2019-02-16 21:25:32 · 588 阅读 · 0 评论