- 博客(5)
- 收藏
- 关注
RSS订阅转载 梯度更新方法：Momentum
SGD方法的一个缺点是，其更新方向完全依赖于当前的batch，因而其更新十分不稳定。解决这一问题的一个简单的做法便是引入momentum。 momentum即动量，它模拟的是物体运动时的惯性，即更新的时候在一定程度上保留之前更新的方向，同时利用当前batch的梯度微调最终的更新方向。这样一来，可以在一定程度上增加稳定性，从而学习地更快，并且还有一定摆脱局部最优的能力： Δxt=ρ
2017-11-13 13:12:31
1888
原创 Unable to find vcvarsall.bat问题的解决
问题原因： 很多python 库实际上使用c或者c++写的，所以安装编译时会需要用到msvc的东西；如果你的机器里没有装VS或者注册表设置不太对的话，就会报错。 解决方法： 1.下载安装Microsoft Visual C++ Compiler for Python 2.7，下载地址http://www.microsoft.com/en-us/download/details.a
2017-11-12 14:28:25
554
转载 sigmoid函数求导
函数：f(z) = 1 / (1 + exp( − z)) 导数：f(z)' = f(z)(1 − f(z)) 求导过程如下：
2017-09-23 09:06:22
2367
转载 独热码one-hot code
一、One-Hot Encoding One-Hot编码，又称为一位有效编码，主要是采用位状态寄存器来对个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。 在实际的机器学习的应用任务中，特征有时候并不总是连续值，有可能是一些分类值，如性别可分为“male”和“female”。在机器学习任务中，对于这样的特征，通常我们需要对其进行特征数字化，如下面
2017-09-22 19:34:00
391
原创 codeblocks安装后找不到编译器的问题
随便找了一个安装包安装后点击编译按钮无反应，codeblocks只是一个编译环境没有编译器。 去官网上下载了带有编译器（mingw) 的安装包。 安装后发现同样的问题仍然存在。打开codeblocks，进入settings->compiler 选择selected compiler为GNU GCC C
2017-09-20 11:09:25
6704
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人