杂项知识点

1、zn——>xn 当映射矩阵为方阵且为单位阵，隐马尔可夫模型退化成标准马尔可夫模型。

2、强化学习：马尔可夫决策符合马尔可夫假设。

3、汉森矩阵，二阶倒数在多元函数上的推广(把多元函数进行泰勒展开)。 常用于图像风格迁移、牛顿法。

牛顿法（线性方程组求解搜索方向需要汉森矩阵的逆；距离最优解比较近时搜索快）

拟牛顿法：近似矩阵逼近汉森矩阵。

4、激活函数：1、非线性 2、调控误差传播 3、繁华

      relu:缓解梯度消失；确点：1、漂移（均值不在0点)；2、<0 梯度为0（硬饱和），改进：leakyReLU

5、一范数权重具有稀疏性；

6、早停法和基于二范数权重正则化联系

7、矩阵范数几何意义

8、样本分布与损失函数

若采用一个定值度量整体，样本服从高斯分布：均值，拉普拉斯分：中位数

拉普拉斯分布 概率密度：对称的指数分布

 

python语法知识

注意 python 一个易错：a=[1,2,3] b=a.append(4) ，b得到None

softmax:

import numpy as np

def softmax(X):  # softmax函数
    return np.exp(X) / np.sum(np.exp(X))


a = np.array([1,1,2])

b = softmax(a)

print(b)