机器学习之随机梯度下降、批量梯度下降、小批量梯度下降

一元线性回归模型

举例：以房屋面积预测房屋价格


假设函数可以设置为：

一元线性回归代价函数图像

每一个预测值都与真实值存在一个差距，差距的平方和就可以作为一个代价函数。

因此代价函数为：
如下图所示（为方便观察，做了一个截断）

代码为：

from matplotlib import pyplot as plt
import numpy as np
from mpl_toolkits.mplot3d import Axes3D

fig = plt.figure()
ax = Axes3D(fig)
w = np.arange(-5, 8, .25)
b = np.arange(-15, 15, .25)
x = np.array([1,2,3,4])
y = np.array([3.2,4.7,7.3,8.5])
w, b = np.meshgrid(w, b)
R = 0
for i in range(len(x)):
    R += (w*x[i]+b-y[i])**2
R /= len(x)
a = R<50
R = ~a*50+R*a
# ax.plot_surface(w, b, R, rstride=1, cstride=1, cmap='rainbow', )
ax.plot_wireframe(w