《机器学习》周志华课后习题答案——第五章（1-7已完结）

第五章课后习题答案

---

一、试述将线性函数f(x) = wTx用作神经元激活函数的缺陷？

使用线性函数作为激活函数时，因为在单元层和隐藏层，其单元值仍是输入值X的线性组合。
若输出层也用线性函数作为激活函数，达不到“激活”与“筛选”的目的，这样相当于整个的线性回归。

二、试述使用图5.2(b)激活函数的神经元与对率回归的联系

对率回归，是使用Sigmoid函数作为联系函数时的广义线性模型。
对于单位阶跃函数（如左图所示）：

单位阶跃函数不连续，难以求导，所以用对数几率函数代替。
对于对率函数（如以上右图所示）：

使用Sigmoid激活函数，每个神经元几乎和对率回归相同，只不过对率回归在 [sigmoid(x)>0.5] 时输出为1，而神经元直接输出 [sigmoid(x)] 。