题3.1 试析在什么情况下f(x)=w^(T)+b中不必考虑偏置项b?
答:
在一次函数中b是函数在y轴的截距,控制着函数偏离原点的距离;类比到线性模型中,偏置项b体现了模型整体上的浮动,可以根据具体情况对偏差进行修正,使模型更好地拟合真实值。
在以下两种情况下不必考虑偏置项b:
- 在f(x)进行归一化处理时消除偏置项。归一化处理包括 把数据映射到(0,1)范围内 和 把有量纲的表达式化为无量纲的表达式 等,处理时可以消除偏量项b。
- 当只需考虑x的取值对y的影响时,就不用考虑偏置项b。
题3.2 试证明:对于参数w,对率回归的目标函数(3.18)是非凸的,但其对数似然函数(3.27)是凸的。
答:首先需要明确:二阶导>0,开口向上,是凹的;二阶导<0,开口向下,是凸的。
题3.3 编程实现对率回归,并给西瓜数据集3.0a上的结果。
答:数据参考此处
构造一个阶跃函数,此处使用sigmoid函数:
得出运行结果:
蓝线右上角的部分是预测为1(正例→好瓜);
左下角部分是预测为0(负例→坏瓜)。