回归、分类问题中激活函数、误差函数选择解释

回归、分类问题中激活函数、误差函数选择解释

对于回归问题，我们一般假设t服从高斯分布，均值与x有关，即
对于以上条件，我们选择的激活函数是恒等函数即可，因为这样就可以近似任何从X到Y的连续函数。在优化时，对于给定的独立同分布的观测数据，其似然函数为：
最大化似然函数，等价于最小化负的对数似然即：

这也就说明了在假设条件分布式高斯分布的前提下，最大化似然与最小化平方和误差是相等的。
通过求导令为0，
对于二分类问题：
由于输出是单一变量，所以激活函数采用sigmoid函数：

假设目标变量的条件分布式伯努利分布即
误差为交叉熵误差函数
也就是二分类问题，在假设条件分布式伯努利分布的前提下，最大化似然函数等价于最小化交叉熵误差函数。

对于多分类问题：
使用“1-of-k”的表示方法表示类别，激活函数采用softmax函数
误差函数为多分类交叉熵错误函数