![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Machine Learning
hijack00
天道酬勤
展开
-
softmax函数及其性质
本文讨论机器学习中常见的softmax函数,并推导了softmax函数的梯度,讨论了softmax函数的一些基本性质。原创 2016-08-18 12:09:31 · 3405 阅读 · 1 评论 -
关于BP的一些注记
误差反向传播(BP)是神经网络中一个比较经典的训练算法,在上世纪80年代由Rumelhart和Hinton提出。关于BP算法的推导 BP算法的推导并不是很复杂(可以参考一些文献),主要抓住以下两个要点即可: 1. 梯度下降算法 ;2. 求导链式法则BP主要是通过梯度下降的方式进行权值更新的,所以需要计算目标函数的梯度。而函数求导的链式法则保证了误差能够逐层方向传播。原创 2016-08-17 11:00:40 · 969 阅读 · 0 评论 -
Windows下Armadillo配置及测试
Windows下Armadillo库的配置以及使用测试原创 2016-08-17 11:04:10 · 7947 阅读 · 2 评论 -
深度学习中的“重构”
重构(Reconstruct)是指从经过变换的数据中恢复出原始数据。 基本上,所有的深度学习算法中都用到了重构这一思想。深度学习中的重构主要有两种: 1. Value-based。 即基于值的重构。比如,平方误差。 2. Distribution-based。即基于分布的重构。比如交叉熵误差。这类重构一般都基于信息论准则。原创 2016-10-06 21:42:46 · 18745 阅读 · 0 评论