机器学习算法：线性回归 - MBGD小批量梯度下降法 - 手写代码

线性回归模型表达式：

• 其中theta.shape=(1,m)，m=数据的特征数量。
• 通过直接求导，可以得到theta的最优解，但是会遇到矩阵求逆的问题，而并不是所有的矩阵都可以求逆。
• 由于矩阵求逆的不确定性，因而想到了用梯度下降法来逐步逼近最优解，梯度下降法又分为BGD、SGD、MBGD。
• BGD每次更新需要用全部数据，计算量大且耗时；SGD每次更新需要用一条数据，计算量小速度快，但是可能在最小值附近波动，不收敛；MBGD每次更新用一部分数据(batch_size)，计算速度并不会比SGD慢太多，每次使用一个batch_size可以大大减小收敛所需要的迭代次数。
• batch_size根据GPU来选择，一般是32的倍数。

#coding=utf-8
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn import linear_model

np.random.seed(4)

class LR:
    def __init__(self,iter_n=30,learn_rate=0.001,batch_size=2):
        self.iter_n = iter_n
        self.learn_rate = learn_rate
        self.batch_size = batch_size
    
    #线性回归算法模型：theta*x
    def model(self,x,theta):
        return np.dot(x,theta)
    
    #损失函数(目标函数):选用MSE均方误差
    def mse(self,y,y_hat):
        return sum((y-y_hat)**2)/len(y)
    
    #计算梯度
    def cal_gred(self,y,y_hat,x):
        #初始化梯度
        gred = np.zeros((x.shape[-1],1))
        #计算每个theta的梯度
        for index in range(len(gred)):