斯坦福CS224n-assignment1

总结：

1、softmax 函数公式，作用在输出层，把预测值转换成输出值的概率分布。

2、softmax函数加一个常量，结果不变，这个性质可以用在指数太大防止数值溢出，将x-max(x),其中x是矩阵，max(x)是行最大值。

3、sigmod函数，激活函数，把线性变成非线性。

4、损失函数

5、从损失函数到x输入的求导。

 

一、softmax

1.1 证明SoftMax对于任何输入向量x和任何常量c，结果不变。（1）式中x+c意味着把常数c加到x的每一个维度上。在实践中，利用

c = -max(xi，axis=1）（即求每一行的最大值），就是每一个xi值减去没一行的最大值，防止e^xi值溢出，而且这样比改变运算结果。

证明：softmax(x) = softmax(x + c)

1.2 python实现sotfmax函数，要求既能处理向量，也能处理矩阵

学习到的知识点：

1.2.1 x_max = np.max(x, axis=1, keepdims=True) keepdims 运算后的结构保持矩阵结构
1.2.2 x = np.exp(x - x_max) / np.sum(np.exp(x - x_max), axis=1) #axis = 1, 每一行一个样本，每一个样本的概率归一化
1.2.3 np.allclose(test1, ans1, rtol=1e-05, atol=1e-06) #allclose方法，比较两个array是不是每一元素都相等，默认在1e-05的误差范围内

import numpy as np


def softmax(x):
    """Compute the softmax function for each row of the input x. #每行是一个样本，每一列是各类的评分，归一化以每一行为对象。

    It is crucial that this function is optimized for speed because
    it will be used frequently in later code. You might find numpy
    functions np.exp, np.sum, np.reshape, np.max, and numpy
    broadcasting useful for this task.

    Numpy broadcasting documentation:
    http://docs.scipy.org/doc/numpy/user/basics.broadcasting.html

    You should also make sure that your code works for a single
    D-dimensional vector (treat the vector as a single row) and
    for N x D matrices. This may be useful for testing later. Also,
    make sure that the dimensions of the output match the input.

    You must implement the optimization in problem 1(a) of the
    written assignment!

    Arguments:
    x -- A D dimensional vector or N x D dimensional numpy matrix.

    Return:
    x -- You are allowed to modify x in-place
    """
    orig_shape = x.shape

    if len(x.shape) > 1:
        # Matrix
        ### YOUR CODE HERE
        x_max = np.max(x, axis=1, keepdims=True) #取每行的最大值, keepdims保持二维的特性，这样在下一步相减情况下，不会出错
        x = np.exp(x - x_max) / np.sum(np.exp(x - x_max), axis=1, keepdims=True) #axis = 1, 每一行一个样本&#