神经网络
文章平均质量分 80
rosefunR
每次都多付出一点. 欢迎关注公众号《机器学习与算法之道》
展开
-
TensorFlow的MNIST数据识别
1、代码原创 2017-12-20 22:57:44 · 317 阅读 · 0 评论 -
从实践看神经网络拟合任何函数
1 理论理论部分看 Multilayer Feedforward Networks areUniversal Approximators ,公式比较繁琐,英文看起来晦涩。总的来说就是,多层神经网络在任意的的隐层节点和专属压缩函数(看做非线性激活函数),能够逼近任意Borel 测量函数.2 实践import numpy as npimport matplotlib.pyplot as p...原创 2019-04-18 16:09:12 · 13311 阅读 · 2 评论 -
神经网络loss Nan
1.原因有可能是学习率太高(调为0,看是否出现这个问题);如果仍有,说明是那个地方出现 /0, log(0)等可能性,导致出现无穷大的数。参考:1 为什么用tensorflow训练网络,出现了loss=nan,accuracy总是一个固定值?...原创 2019-03-29 16:09:09 · 9530 阅读 · 0 评论 -
RBF径向基函数简介
1 理论RBF网络就是使用一组径向基进行拟合。有了这个思想,我们可以看这个网络的细节部分。1.1 径向基是什么?wiki给出好几种定义。其中rrr代表是范数,xi\mathbf x_ixi可以看做中心点,x\mathbf xx是每个训练样本。1.2 径向基选几个来进行拟合函数?一般是训练样本的个数。1.3 拟合误差怎么算?一般神经网络是,通过拟合误差来训练得到权值矩阵W。R...原创 2019-01-13 17:18:39 · 3294 阅读 · 0 评论 -
RBM受限玻尔兹曼机理解及实现
引言1、RBM简介2、贪婪算法 首先字典学习它是个非凸优化问题,多层字典学习将会变得更加复杂;另外多层字典学习的所要求解的参数大大增加,在有限的训练样本下,容易引起过拟合问题。因此文献提出类似于SAE、DBN一样,采用逐层训练学习的思想,这样可以保证网络的每一层都是收敛的。算法其实非常简单,以双层分解为例进行逐层分解,具体示意图如下:参考:RBM 知乎;深度学习贪婪算法 CSDN;A d原创 2017-12-26 16:49:20 · 10351 阅读 · 0 评论 -
机器学习概貌
一、根据学习类型划分算法1、有监督学习有监督学习,是建立在有标准的输出数据来进行校正。有监督学习,可以是分类问题,也可以是回归问题。2、无监督学习无监督学习,输入的数据,没有标签或者知道的输出结果。 通过推导输入数据中存在的结构来准备模型。这可能是提取一般规则。系统地减少冗余可能是通过数学过程,也可能是通过相似性来组织数据。可以看出,无监督学习,是通过数据可能存在的某种数学关系,例如相关性,来原创 2017-12-22 17:36:35 · 450 阅读 · 0 评论 -
神经网络模型不收敛的处理
1、learning rate设大了0.1~0.0001.不同模型不同任务最优的lr都不一样。我现在越来越不明白TensorFlow了,我设置训练次数很大的时候,它一开始就给我“收敛”到一个值,后面的值都一样。2、归一化参考:深度学习收敛问题;训练深度神经网络原创 2017-12-22 14:50:02 · 30798 阅读 · 24 评论 -
Tensorflow1.x系列(4): 神经网络在TensorFlow实现
1.引言1.1神经网络的术语 1.偏置bias: 2.激活函数:sigmoid函数;tanh函数;Relu函数。 3.损失函数:最小平方误差准则(MSE)、交叉熵(cross-entropy)、对数似然函数(log-likelihood)、指数损失函数(exp-loss)、Hinge损失函数(Hinge-loss)、0-1损失函数、绝对值损失函数 4.反向传播优化算原创 2017-12-06 10:25:10 · 16601 阅读 · 2 评论 -
神经网络参数初始化及Pytorch接口
1.神经网络参数初始化方式权重:偏置:置为0。2.Keras 默认参考:权重初始化原创 2019-05-28 08:59:52 · 566 阅读 · 0 评论