小O学习笔记-9讲入门机器学习(二)

手撸线性回归

涉及到的数学知识包括:
①线性回归模型结构;②最优化算法-梯度下降法(方向导数、梯度)
我这里没有封装线性回归,只是把核心组件写了。手撸机器学习模型事实上可以包括几个组分:
①参数初始化部分(得确定模型的形式,有哪些参数);
②计算模型的损失(数学上确定损失函数);
③确定根据损失迭代更新参数的方式(训练部分,核心是确定学习算法);
基本上就是这几步了。只要明白模型的数学或逻辑结构、明确损失函数、确定学习算法,一个机器学习模型就掌握了。手撸的过程是强化对整个模型的认知。最后使用的时候调用sklearn就好。sklearn是个好东西,既有算法又有数据的。

#-*-coding:utf-8-*-
#Circle手撸线性回归

#numpy用于手撸模型,load_diabetes用于导入sklearn自带的糖尿病数据集,shuffle是数据打乱函数
import numpy as np
from sklearn.datasets import load_diabetes
from sklearn.utils import shuffle

#定义线性回归参数初始化函数
def initialize_params(dims):
    """
    :rtype: object
    w:初始化权重参数值
    b:初始化偏差参数值
    :param dims: 输入特征维度
    """
    #把所有参数都初始化为0
    w=np.zeros((dims,1))
    b=0
    return w,b

#定义线性回归模型的损失计算函数
def linear_loss(X,y,w,b):
    """
    :param X: 数据的特征矩阵(数据)
    :param y: 数据的值向量(数据)
    :param w: 模型权重向量(参数)
    :param b: 模型偏差值(参数)
    """
    num_train=X.shape[0]
    num_feature=X.shape[1]
    #计算预测y值
    y_hat=np.dot(X,w)+b
    #采用均方误差(MSE)计算损失
    loss=np.sum((y_hat-y)**2)/num_train
    #针对损失函数,求参数w,b的偏导
    dw=np.dot(X.T,(y_hat-y))*2/num_train
    db=(y_hat-y)*2/num_train
    return y_hat,loss,dw,db

# 定义线性回归模型的训练函数
def linear_train(X,y,learning_rate,epochs):
    """

    :param X: 数据的特征矩阵(数据)
    :param y: 数据的值向量(数据)
    :param learning_rate: 梯度下降寻优算法的学习率,实际上就是每次迭代参数变化的步长
    :param epochs: 训练(迭代)次数
    :return params: 当前参数更新结果
    :return grads: 当前梯度计算结果
    """
    #初始化模型参数
    w,b=initialize_params(X.shape[1])
    loss_list=[]
    #迭代训练
    for i in range(1,epochs):
        y_hat,loss,dw,db=linear_loss(X,y,w,b)
        loss_list.append(loss)
        #基于梯度下降的参数更新过程
        w-=learning_rate*dw
        b-=learning_rate*db
        #对迭代过程进行输出
        if not i%1000:
            print('epoch %d loss %f'%(i,loss))
    #保存模型参数与梯度
    params={'w':w,'b':b}
    grads={'dw':dw,'db':db}
    return loss_list,loss,params,grads

if __name__ == '__main__':
    diabetes=load_diabetes()
    data=diabetes.data
    target=diabetes.target
    X,y=shuffle(data,target,random_state=13)
    #暂时性搁置,由于项目原因,本周的集中尽力搞项目。
发布了43 篇原创文章 · 获赞 39 · 访问量 9万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览