从最大熵开始,进入较为复杂的数学模型。短期内不能理解。先行搁置。以后回头再看。
有限状态机:
基于递归/中间状态的一种计算机处理思想。
即划定必须经过的中间状态。进而减少非中间状态之间的节点的链路代价的遍历与计算成本。有些类似与DR/BDR技术
SVD奇异值分解
//todo
最大熵模型:
//todo
https://en.wikipedia.org/wiki/Generalized_iterative_scaling
http://blog.csdn.net/itplus/article/details/26550597
由于是一个凸模型。不会陷入局部极值。
L-BGFS:一个更快的算法/使用牛顿法和Hessian矩阵求解。
CNN/RNN定义:
//todo
LSTM的gate控制时间记忆
神经网络非线性函数:
//todo
sigmoid
tanh
ReLU