吴恩达2022机器学习专项课程C1W1：1.13 可视化成本函数

可视化成本函数

直观理解不同的w和b，是如何影响成本函数的。

可视化方法

3D空间和等高线图。

成本函数的3D空间

w和b两个参数，共同影响着成本函数的值，z轴的值即为成本函数的值，形状像一个碗底。

三维空间确认成本函数的值

找到w和b的值，这两点交汇对应的z轴高度，就是成本函数的值。

等高线图

更方便的观测成本函数的值。

如何绘制等高线图

• 假设有一座山，我们想知道山的等高线图。
• 想象成把山横着切一刀，横截面就是等高线图的样子，每个横截面点的高度都一样。

如何绘制成本函数的等高线图

从成本函数的3D空间横切一刀，结果如右上方图。

观测等高线图和线性回归

• 蓝橙绿的三个点表示w，b坐标，当w，b的位置在等高线图最中心圆圈时，对应3D空间成本函数的碗底，达到最小化成本函数。此时w，b对应的值就是最佳值。
• 图中示例的3个w，b坐标距离中心圈位置很远，未最小化成本函数，误差较大，左侧线性回归模型未能很好的拟合数据。

3d空间成本函数的形状

图中成本函数的走势被拉长了，在一元线性回归中，当w，b的取值范围相同时，成本函数在3d空间才呈现标准的倒扣碗状。

总结

我们采用3d空间和等高线图的方法，直观的看到了w，b是如何影响成本函数。在3d空间中，最优的 w 和 b 值对应碗底的位置。为了更好的看到成本函数的值，我们在3d空间横切一面，绘制了等高线图。w，b对应的坐标点越靠近等高线图的中心圈，对应成本函数的值越大，模型预测的误差就越大，最优的 w 和 b 值对应中心圈的位置。3d空间里的成本函数由于w，b取值范围不同，形状也不同，但是总有一个最低点。