(04)第四讲 Word Window 分类与神经网络

1.softmax逻辑回归（决策边界）

在机器学习尤其是深度学习中，softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。
首先我们简单来看看softmax是什么意思。顾名思义，softmax由两个单词组成，其中一个是max。对于max我们都很熟悉，比如有两个变量a,b。如果a>b，则max为a，反之为b。用伪码简单描述一下就是 if a > b return a; else b。
另外一个单词为soft。max存在的一个问题是什么呢？如果将max看成一个分类问题，就是非黑即白，最后的输出是一个确定的变量。更多的时候，我们希望输出的是取到某个分类的概率，或者说，我们希望分值大的那一项被经常取到，而分值较小的那一项也有一定的概率偶尔被取到，所以我们就应用到了soft的概念，即最后的输出是每个分类被取到的概率。

原文链接：https://blog.csdn.net/bitcarmanlee/article/details/82320853

2.交叉熵损失函数/目标函数

2.1目标函数公式中加上正则项，是为了使模型中年的所有权值尽可能地小，尽可能接近于0

2.2交叉熵损失函数的的思维：在softmax函数输出的概率的分布的向量上，如果不是以接近于1的概率去判别一个label，这就是一种损失。

2.3原理：https://blog.csdn.net/b1055077005/article/details/100152102

3.模型：Window classification词窗口分类

想法：训练一个softmax分类器：给中心词分配一个标签，然后用一个窗口把它前后的单词连接起来