CS224n斯坦福课程assiment1——softmax函数

一、softmax的常数不变性。

二、写代码

代码要求不仅要保证对一维向量，也要对多维的矩阵有效。所以分为了maxtir和vector两个处理方法。
matrix：

vector：

三、小结

1、softmax通过指数变换去掉了负数，突出了特征
2、通过归一化处理，变为了概率的近似
3、利用常数不变，防止了溢出。（x-x_max,减去了每个样本中的最大值）
4、要弄清每个维度代表的含义（matrix中每一行代表一个样本，vector是个列向量，即就是一个样本）
5、代码中axis=0代表纵轴，axis=1代表横轴