《机器学习》西瓜书习题 第 3 章

习题

3.1

试析在什么情况下式 $(3.2)$ 中不必考虑偏置项 $b$ .
　　书中有提到, 可以把 $x$ 和 $b$ 吸收入向量形式 $\hat{w}=(w;b)$ .此时就不用单独考虑 $b$ 了.
　　其实还有很多情况不用, 比如说使用了 $\mathrm{o}\mathrm{n}\mathrm{e}-\mathrm{h}\mathrm{o}\mathrm{t}$ 编码, 就可以不用考虑偏置项.
　　更广泛的情况是, 如果偏置项 $b$ 可以被 “包含” 在另外的一些离散特征里, 那么就不用考虑. 就是偏置项可以以一定系数加到离散特征中. (可能看了还是不太懂, 我以后有时间会重写一个的.)

3.2

试证明, 对于参数 $w$, 对率回归的目标函数 $(3.18)$ 是非凸的, 但其对数似然函数 $(3.27)$ 是凸的.
y = 1 1 + e − ( w T x + b ) (3.18) y = \frac{1}{1 + e^{-(\boldsymbol w^\mathrm T\boldsymbol x + b)}}\tag{3.18} y=1+e