线性模型和梯度下降

课程来源：2.线性模型_哔哩哔哩_bilibili

 

线性模型：y=x*w, 绘制权重w和损失函数的图像，使用穷举法找到最适合的权重w。

代码复现： 

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

#设函数为y=2x+3
x_data = [1.0,2.0,3.0]
y_data = [5.0,7.0,9.0]

def forward(x):
    return x * w + b

def loss(x,y):
    y_pred = forward(x)
    return (y_pred-y)**2

W=np.arange(0.0,4.1,0.1)
B=np.arange(-3.0,8.1,0.1)
#numpy.meshgrid()——生成网格点坐标矩阵
#横坐标矩阵X XX中的每个元素，
# 与纵坐标矩阵Y YY中对应位置元素，共同构成一个点的完整坐标。
# ( X 12 , Y 12 ) = ( 1 , 1 ) (X_{12},Y_{12})


[w,b]=np.meshgrid(W,B)
#w是行向量
print("w",w)
#b是列向量
print("b",b)

l_sum = 0
for x_val, y_val in zip(x_data, y_data):
    #预测值y，不用再使用for遍历w,b的值。
    y_pred_val = forward(x_val)
    print(y_pred_val)
    loss_val = loss(x_val, y_val)
    l_sum += loss_val
    
fig = plt.figure()
ax = Axes3D(fig)
ax.plot_surface(w, b, l_sum/3,cmap="rainbow")
plt.show()

梯度下降算法。

穷举法在数据太多的情况不好用。

使用梯度下降的算法可以找到局部最优解，在凸函数里面效果很好。

以y=x*w为例：

分别定义求预测值y,求数据集的总损失，求梯度的函数：

总损失：均方差 梯度：=

更新w的值：

权重和损失函数的图像：

 

 输出epoch(测试轮数)，w,cost的值，找到使cost取到最小值的w的值。

 

import numpy as np
import matplotlib.pyplot as plt
x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]
w=1.0
cost2 = []
epoh1 = []
#求预测值y
def forward (x):
    return w*x
#求cost
def cost(x1,y1):
    cost=0
    for x,y in zip(x1,y1):
        y_ple = forward(x)
        cost += (y_ple-y)**2
    return cost / len(x1)
#求梯度
def gra (x1,y1):
    #2*x*(x*w+b)
    gra=0
    for x,y in zip(x1,y1):
        gra += 2*x*(x*w-y)
    return gra / len(x1)
#变化w的值
for epoh in range(100):
    cost1 = cost(x_data,y_data)
    gra1 = gra(x_data,y_data)
    w-=0.01*gra1
    print("epoh:",epoh,"w:",w,"cost",cost1)
    cost2.append(cost1)
    epoh1.append(epoh)
plt.plot(epoh1,cost2)
plt.ylabel('cost')
plt.xlabel('epoch')
plt.show() 

这里显示的是测试轮数与cost的函数。 

 

 

梯度下降方法有时会进行不了：

在图形左边 ：的值基本上不变，可能找不到最优解。

 

为了解决这个情况需要用随机梯度算法:

计算每一个个点的损失loss和梯度，用对应的梯度更新每个点。

loss:,梯度：

import numpy as np
import matplotlib.pyplot as plt
import random
x_data = [1,2,3]
y_data = [2,4,6]
w=1
loss2 = []
epoh1 = []
#求预测值y
def forward (x):
    return w*x
#求loss
def loss(x1,y1):
    y_pre=forward (x1)
    loss=(y_pre-y1)**2
    return loss
#求梯度
def gra (x1,y1):
    gra = 2*x1*(x1*w-y1)
    return gra
#变化w的值
for epoh in range(100):
    for xs,ys in zip(x_data,y_data):
        loss1 = loss(xs,ys)
        gra1 = gra(xs,ys)
        w-=0.01*gra1
        print("epoh:",epoh,"w:",w,"loss",loss)
        loss2.append(loss1)
        epoh1.append(epoh)
plt.plot(epoh1,loss2)
plt.ylabel('cost')
plt.xlabel('epoch')
plt.show() 

 

 

梯度下降可以并行计算。（因为cost是一样的，xi和xi+1的梯度只和自己有关，并行计算不影响结果）。

随机梯度下降不可以，但是能找到更好的点。

在实际中采取折中的方法：

若干个一组求相应的梯度，更新w。称为小批量的梯度下降 mini-Batch。