[TOC]
0. 从零开始
最近开始学习神经网络与机器学习,学校的暑期课程学习曲线比较陡,老师默认我们已经具备了很多基础知识了,所以学起来很费力。所以就把自己的一些理解总结起来,放在这里,供参考。
1. 激活函数
1.1 sigmoid函数
sigmoid函数是可微分的
1.1.1 logistic函数
修改参数a可以改变曲线的倾斜程度
-化成伪温度T的形式后,T即用来控制噪声水平的不确定性,当T趋于0时,该函数趋近阈值函数
\[\phi(\nu) = \frac{1}{1 + \exp{(-a\nu)}} = \frac{1}{1 + \exp( \frac{-\nu}{T} )}\]1.1.2 双曲正切函数
- 允许激活函数取负值
值域为\((-1 , 1 )\)
\[\phi(\nu) = tanh(\nu) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}}\]1.1.3 阈值函数
- 比如最简单的符号函数就是一种阈值激活函数
不可微分
\[ sgn(\nu)=\left\{ \begin{aligned} +1,\nu \geq 0 \\ -1,\nu < 0 \end{aligned} \right. \]