《统计学习方法》笔记——7.1.3 间隔最大化

式子7.11，7.12与线性可分支持向量机的最优化问题7.13，7.14的差别在于函数间隔γ^值的确定，原文在确定γ^时这样描述：

函数间隔γ^的取值并不影响最优化问题的解。事实上，假设将w和b按比例改变为λw和λb，这时函数间隔成为λγ^。函数间隔的这一改变对上面最优化问题的不等式约束没有影响，对目标函数的优化也没有影响，也就是说，它产生一个等价的最优化问题。

此时产生一个疑问 ：为什么函数间隔的这一改变对上面最优化问题的不等式约束没有影响，对目标函数的优化也没有影响？

稍微思考一下可以知道，假如γ^取γ^1时，得出的最优解为w1，b1；若此时将γ^取值为2*γ^1，则原最优解w1，b1变为2*w1，2*b1，看似最优解发生了变化，但是分离超平面的系数w，b同时倍增时，超平面是不会改变的。即两组最优解对应同一个分离超平面。这样的话，就解释清楚了为什么函数间隔的改变对上面最优化问题的不等式约束没有影响，对目标函数的优化也没有影响。