CS224N连载系列_word2vec作业的解析（2）

所有的语言模型的发展都离不开最基础的模型，统计语言模型是最重要的一环，word2vec也是如此，统计语言模型是用来计算一个句子的概率的概率模型，通常是基于一个语料库来构建，那什么叫一个句子的概率呢？

1、softmax

softmax 函数通常处理机器学习分类问题的输出层的激活函数，它的输入是一个实数向量，输出向量的长度是与输入向量相同，但所有的取值范围是（0，1），且所有元素的和为1，输出向量的各个元素值表示某个分类的可能性。

softmax函数的数学表达式：

                                                      
由于输入x是实数向量，e的x次方的计算结果可能非常大甚至溢出，不利于计算的稳定性。所以通常将x减去一个常数c再输入到softmax。下面证明了x的常数加减是不会影响softmax结果的（softmax的常数不变性）：

                                                            

2、神经网络基础

sigmoid

为什么要在隐藏层使用激活函数呢？

非线性的激活函