rosefun96的博客

深度学习、算法交流q群596506387。

从实践看神经网络拟合任何函数

1 理论 理论部分看 Multilayer Feedforward Networks are Universal Approximators ,公式比较繁琐,英文看起来晦涩。 总的来说就是,多层神经网络在任意的的隐层节点和专属压缩函数(看做非线性激活函数),能够逼近任意Borel 测量函数....

2019-04-18 16:09:12

阅读数 60

评论数 0

神经网络loss Nan

1.原因 有可能是学习率太高(调为0,看是否出现这个问题); 如果仍有,说明是那个地方出现 /0, log(0)等可能性,导致出现无穷大的数。 参考: 1 为什么用tensorflow训练网络,出现了loss=nan,accuracy总是一个固定值? ...

2019-03-29 16:09:09

阅读数 30

评论数 0

RBF径向基函数简介

1 理论 RBF网络就是使用一组径向基进行拟合。 有了这个思想,我们可以看这个网络的细节部分。 1.1 径向基是什么? wiki给出好几种定义。其中rrr代表是范数,xi\mathbf x_ixi​可以看做中心点,x\mathbf xx是每个训练样本。 1.2 径向基选几个来...

2019-01-13 17:18:39

阅读数 103

评论数 0

RBM受限玻尔兹曼机理解及实现

引言1、RBM简介2、贪婪算法 首先字典学习它是个非凸优化问题,多层字典学习将会变得更加复杂;另外多层字典学习的所要求解的参数大大增加,在有限的训练样本下,容易引起过拟合问题。因此文献提出类似于SAE、DBN一样,采用逐层训练学习的思想,这样可以保证网络的每一层都是收敛的。算法其实非常简单,...

2017-12-26 16:49:20

阅读数 1319

评论数 0

机器学习概貌

一、根据学习类型划分算法1、有监督学习有监督学习,是建立在有标准的输出数据来进行校正。有监督学习,可以是分类问题,也可以是回归问题。2、无监督学习无监督学习,输入的数据,没有标签或者知道的输出结果。 通过推导输入数据中存在的结构来准备模型。这可能是提取一般规则。系统地减少冗余可能是通过数学过...

2017-12-22 17:36:35

阅读数 205

评论数 0

TensorFlow神经网络模型不收敛的处理

1、learning rate设大了0.1~0.0001.不同模型不同任务最优的lr都不一样。我现在越来越不明白TensorFlow了,我设置训练次数很大的时候,它一开始就给我“收敛”到一个值,后面的值都一样。2、归一化参考: 深度学习收敛问题; 训练深度神经网络

2017-12-22 14:50:02

阅读数 11249

评论数 14

TensorFlow神经网络模型软测量

引言使用TensorFlow训练好的神经网络模型,来进行对输入数据的输出预测,即软测量的过程。1、训练神经网络模型这里写代码片

2017-12-21 08:59:34

阅读数 206

评论数 0

TensorFlow的MNIST数据识别

1、代码

2017-12-20 22:57:44

阅读数 105

评论数 0

Python读取CSV数据的实现

使用python或者TensorFlow本身指令都可以读取数据。1、python读取CSV文件import csv# 读取csv至字典 csvFile = open(r'G:\训练小样本.csv', "r") reader = csv.reader(csvFile) #p...

2017-12-11 17:08:12

阅读数 1115

评论数 1

神经网络在TensorFlow实现

1.引言1.1神经网络的术语 1.偏置bias: 2.激活函数:sigmoid函数;tanh函数;Relu函数。 3.损失函数:最小平方误差准则(MSE)、交叉熵(cross-entropy)、对数似然函数(log-likelihood)、指数损失函数(exp-loss)、...

2017-12-06 10:25:10

阅读数 5998

评论数 2

提示
确定要删除当前文章?
取消 删除
关闭
关闭