![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
Flyingzhan
哈尔滨工业大学18级计算机硕士研究生
展开
-
反向传播(Backpropagation)算法详解
反向传播(back propagation)算法详解反向传播算法是神经网络的基础之一,该算法主要用于根据损失函数来对网络参数进行优化,下面主要根据李宏毅机器学习课程来整理反向传播算法,原版视频在https://www.bilibili.com/video/av10590361/?p=14.首先,我们来看一看优化方程:上面的损失函数是普通的交叉熵损失函数,然后加上了正则化项,为了更新...原创 2018-11-05 15:17:10 · 19735 阅读 · 1 评论 -
tensorflow自定义梯度 RegisterGradient gradient_override_map
tensorflow自定义梯度1:梯度计算关于tensorflow的反向传播算法可以查看我之前的文章反向传播(back propagation)算法详解,tensorflow可以自动计算网络结构的梯度,但是我们需要首先确保模型的梯度是能够正确学习的,而不是ill-posed的,比如说将softmax-loss里面的交叉熵换成一般的squared error的话,会存在梯度一直是0的现象,具...原创 2018-12-02 15:29:31 · 5516 阅读 · 4 评论 -
目标函数常见解法
如何求解目标函数简介相信大家在写程序的时候,尤其是一些机器学习算法的时候,都会遇到将自己的目标函数使用矩阵形式表达的情况。大多数时候,我们写目标函数都是以的形式递归的计算,但是写程序的时候一般输入都是所有的数据,如numpy储存的数组,因此需要转化为矩阵形式。这里简单介绍一下常用的方法以及函数(tensorflow),希望有所收获。此外,本文还包括一些常见的矩阵形式的目标函数的解法。...原创 2018-12-12 20:27:06 · 9540 阅读 · 2 评论 -
tensorflow reproducible(再现性)
tensorflow reproducible(再现性)平时做实验一般需要保证每次实验结果一致(同样的设置下),这样才能知道哪些改进是真正有用的,最近在做实验的时候遇到一些问题,代码结果每次都不一样(小数点后面三位开始不相同,而且随着epoch的增加,结果慢慢就越来越不一样),下面是我我看见的一些保证reproducible的方法(tensorflow下):1:tensorflow.set...原创 2018-12-16 19:29:03 · 387 阅读 · 0 评论