西瓜书第三章——习题解答

题3.1  试析在什么情况下f(x)=w^(T)+b中不必考虑偏置项b？

答：

在一次函数中b是函数在y轴的截距，控制着函数偏离原点的距离；类比到线性模型中，偏置项b体现了模型整体上的浮动，可以根据具体情况对偏差进行修正，使模型更好地拟合真实值。

在以下两种情况下不必考虑偏置项b：

• 在f(x)进行归一化处理时消除偏置项。归一化处理包括 把数据映射到(0,1)范围内 和 把有量纲的表达式化为无量纲的表达式 等，处理时可以消除偏量项b。
• 当只需考虑x的取值对y的影响时，就不用考虑偏置项b。

题3.2  试证明：对于参数w，对率回归的目标函数(3.18)是非凸的，但其对数似然函数(3.27)是凸的。

答：首先需要明确：二阶导>0，开口向上，是凹的；二阶导<0，开口向下，是凸的。

题3.3  编程实现对率回归，并给西瓜数据集3.0a上的结果。

答：数据参考此处

构造一个阶跃函数，此处使用sigmoid函数：

得出运行结果：

蓝线右上角的部分是预测为1（正例→好瓜）；

左下角部分是预测为0（负例→坏瓜）。