监督学习之线性回归

最新推荐文章于 2024-06-14 17:43:15 发布
最新推荐文章于 2024-06-14 17:43:15 发布
阅读量634 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 机器学习 算法 线性回归 最小二乘法 局部加权线性回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cdaning/article/details/78229730
版权

  • 2017.10.09-10.11
  • 主要学习了机器学习的基本概念，学习了最小二乘算法

1 机器学习

1.1 机器学习概述

  • 通常可以被划分为三大种类，取决于可从训练系统获得的信号量或者反馈的属性。包括：
    这里写图片描述
  • 监督学习(Supervised learning)： 回归（regression）和分类(classification)，给定数据集和结果集，通过对新数据进行回归或者分类，来预测新的数据属于给定结果集中的哪一种。
    • 处理回归问题常用的算法包括：线性回归，普通最小二乘回归（Ordinary Least Squares Regression），逐步回归（Stepwise Regression），多元自适应回归样条（Multivariate Adaptive Regression Splines）。
    • 处理分类问题的常用算法包括：逻辑回归（工业界常用），支持向量机，随机森林，朴素贝叶斯（NLP中常用）,深度神经网络（视频、图片、语音等多媒体数据中使用）。

监督学习一般使用两种类型的目标变量：标称型和数值型

标称型：标称型目标变量的结果只在有限目标集中取值，如真与假(标称型目标变量主要用于分类)

数值型：数值型目标变量则可以从无限的数值集合中取值，如0.100，42.001等 (数值型目标变量主要用于回归分析)

  • 无监督学习（Unsupervised learning）: 聚类分析，只给定数据集，没有结果集，由学习算法聚类出结果集。

    • 处理聚类问题的常用算法包括：K均值（K-means），基于密度聚类，LDA等等。
    • 降维的常用算法包括：主成分分析（PCA）,奇异值分解（SVD）等
    • 推荐系统的常用算法：协同过滤算法
    • 模型融合（model ensemble）和提升（boosting）的算法包括：bagging，adaboost，GBDT，GBRT。
    • 其他重要算法：EM算法等等

  • 参考资料：

1.2 回归

回归指的是对于训练数据集{xi,yi}，其中，yi是连续值。用过学习，找到函数fθ(x)，使得:


这里写图片描述

此时，为了度量找到的函数的优劣，设计了度量的函数，称为损失函数（代价函数）：

这里写图片描述
这里写图片描述

注：上公式中的h(x)，就是函数f(x)，一般f(x)称为模型函数，模型函数有：

  • 1. 线性模型
    • 线性模型一把采用如下形式：

      这里写图片描述

其中Ø是基函数，一般有多项式形式和三角多项式形式两种：


(1) 这里写图片描述
(2) 这里写图片描述

  • 2.核模型
    • 线性模型中，多项式或三角多项式等基函数与训练样本{(xi,yi)}ni=1是毫不相关的。而核模型在进行基函数的设计时会使用输入样本{xi}ni=1。
    • 核模型一般采用如下形式：

      这里写图片描述

其中K(x,xj)是基函数，也称为核函数，一般选择最多的是高斯核函数：


这里写图片描述

其中||.||表示2范数，h和c分别对应于高斯核函数的带宽与均值
* 3. 层级模型

  • 前面两种模型都是与参数相关的线性模型，层级模型是非线性模型中的一种，特别是在人工神经网络领域。
    • 层级模型一般采用如下形式：

      这里写图片描述

其中Ø是基函数，一般采用S型函数或者高斯函数（1为S型，2为高斯型）：

  1. 这里写图片描述

  2. 这里写图片描述

其中S型函数模拟的是人类脑细胞的输入输出函数，因此使用S型函数的层级模型也经常称为人工神经网络模型

2.3 最小二乘法（Least Squares）

最小二乘法(又称最小平方法)是对模型的输出fθ(x)和训练集输出{yi}ni=1的平方误差：


这里写图片描述

为最小值时的参数θ进行学习


这里写图片描述

  • 求解方法包括：

    • 随机梯度下降算法（Stochastic Gradient Descent）
    • 标准方程法(The Normal Equations)

  • 随机梯度下降算法（Stochastic Gradient Descent）

    概念：梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。

梯度的概念
梯度是一个矢量，在单变量中，梯度就是导数。在多变量中，梯度就是各个方向上的偏导数，梯度一词有时也用于斜度，也就是一个曲面沿着给定方向的倾斜程度。梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即 函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。
  • 算法实现：
    • := 表示赋值
    • = 表示逻辑判断

repeat until convergence：{


这里写图片描述
这里写图片描述

}

参数更新方式：
{


这里写图片描述

}

算法细节说明
1. α 表示步长，步长太长容易陷入局部最优解，步长太短增加计算时间
2. 必须同时更新θ0和新θ1，然后存入temp0和temp1中，然后再更新θ0和新θ1
* 注解：该微分就是求梯度，梯度是一个向量，这个向量的每一项都是一个整体，不能先下降X的偏导，再下降y的偏导，所以必须先计算之后，在最后面才更新值

  • 偏导化简如下

    这里写图片描述 
n = 50;  % 训练样本
N = 1000; % 输入样本数
x = linspace(-3,3,n)'; % 所有样本的第一个特征值
X = linspace(-3,3,N)'; 
pix = pi*x;
y = sin(pix)./(pix)+0.1*x+0.05*randn(n,1);
p(:,1) = ones(n,1);  % 设计矩阵
P(:,1) = ones(N,1);
t0 = randn(31,1);
alpha = 0.01;     % 步长
% 采用线性模型，基函数采用三角基
for j = 1:15
    p(:,2*j) = sin(x*j/2); p(:,2*j+1) = cos(x*j/2); % 30个特征值，共50个样本
    P(:,2*j) = sin(X*j/2); P(:,2*j+1) = cos(X*j/2);
end
count = 1;
while 1
    % 这是矩阵运算，每次都是一次性计算所有值 
    t = t0 - alpha * p' * (p*t0-y);
    if norm(t0-t) < 0.000001 || count > n*N
        break
    end
    % 统一更新所有 &theta;
    t0 = t;
    count = count + 1;
     sprintf('count ========== %d',count)
end
F = P * t;   % 对输入样本进行训练，与训练样本无关了

figure(2);
clf;
hold on 
axis([-3,3,-0.5,1.2]);
plot(X,F,'g-');
plot(x,y,'bo');
  • 运行结果如图：

image

可以看出其实际效果还是相当不错的（没有完全收敛）
* 梯度缩放

为了使函数收敛更快，可以将特征值进行缩放，一般缩放的原则是：


这里写图片描述

  • 标准方程法(The Normal Equations)

    标准方程法就是直接对函数进行求导得到


θ = （X TX） -1X Ty 证明方法见讲义 notes1
这里写图片描述 求θ有两种方法，一种是根据如上的方法 θ = （X TX） -1X Ty，另外一种就是直接通过 X*θ=y求出θ = x -1y 两种方法对比图：
![image](http://note.youdao.com/yws/public/resource/c76212183ae26e2d14b52925f9ea7342/xmlnote/50638A92A0A04737ABF6CABF585223C3/615)
**可以看出第一种方法优于第二种方法，在起始和结束的拟合比较好** * 代码如下 
n = 50;  % 训练样本
N = 1000; % 输入样本数
x = linspace(-3,3,n)'; % 所有样本的第一个特征值
X = linspace(-3,3,N)'; 
pix = pi*x;
y = sin(pix)./(pix)+0.1*x+0.05*randn(n,1);
p(:,1) = ones(n,1);  % 设计矩阵
P(:,1) = ones(N,1);
for j=1:15
    % 选择线性模型，三角多项式作为基函数
    p(:,2*j) = sin(x*j/2); p(:,2*j+1) = cos(x*j/2); % 30个特征值，共50个样本
    P(:,2*j) = sin(X*j/2); P(:,2*j+1) = cos(X*j/2);
end
t = p\y;
t1 = (p'*p)\p'*y;

F = P*t;
F1 = P*t1;

figure(2);
clf;
hold on 
axis([-3,3,-0.5,1.2]);
plot(X,F,'g-');
plot(X,F1,'r-')
plot(x,y,'bo');
legend('t=p\y','t1 = (p''*p)\p''*y','data');
  • 梯度下降法&&标准方程法特点
梯度下降法标准方程法
需要选择α不需要选择α
需要很多次迭代不需要迭代
当n很大时，仍然可以用需要计算（XTX）-1,当n很大时，计算量非常大，当特征值超过一万，就可以考虑使用梯度下降法了

* 以上三种处理的对比如图：

image

  • 可以看出效果 红色>=黑色>绿色，梯度下降法迭代了50001次，资源消耗大，对于小数据优先考虑标准方程法

  • 标准方程法求解线性回归方程,python代码

    • x是一维的，也就是特征值为1,所以h=θ0+θ1x
# 数据来源于机器学习实战第八章
# LMS：least mean squares
from numpy import *
import matplotlib.pyplot as plt

def loadDataSet(fileName):
    numFeat = len(open(fileName).readline().split('\t')) - 1 # 计算特征值n
    dataMat = []
    labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = []
        # strip是去除数据开始和末尾的空格
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))

    return dataMat,labelMat


def standRegres(xArr,yArr):
    xMat = mat(xArr)
    yMat = mat(yArr).T
    # 标准方程法 w = (x.T*x)^-1x.Ty
    xTx = xMat.T * xMat
    if linalg.det(xTx) == 0.0:  # 行列式等于0，不存在逆矩阵,不过可以使用linalg.pinv()
        print("This matrix is singular,cannot do inverse")
        return
    theta = xTx.I * xMat.T * yMat
    return theta

def plotTest(xMat,yMat,xHat,yHat):
    # flatten使列矩阵变成行矩阵，.A是是matrix变为array
    # plt.scatter(xMat[:,1].flatten().A[0],yMat.T[:,0].flatten().A[0])
    plt.scatter(xMat,yMat)
    plt.hold(True)
    plt.plot(xHat,yHat,'r')
    plt.show()

def main():
    xArr, yArr = loadDataSet('ex0.txt')
    xMat = mat(xArr)
    yMat = mat(yArr)
    # print(xArr[0:2])
    theta = standRegres(xArr,yArr)
    # print(theta)
    # main函数画图，如果先排序要做如下处理
    xCopy = xMat.copy() # 排序不影响结果，应为theta是根据训练数据训练得来的，与输入数据没关系
    xCopy.sort(0)
    yHat = xCopy*theta
    plotTest(xMat[:,1],yMat,xCopy[:,1],yHat)
    print(corrcoef(yHat.T,yMat))

if __name__ == '__main__':
    main()
  • 运行结果如下

image

  • 区分所建模型好坏可以通过计算预测值yHat和真实值y序列的匹配程度，就是计算两个序列的相关系数。python的numpy中提供了相关系数的计算方法：corrcoef(yEstimate,yActual)。
print(corrcoef(yHat.T,yMat))
  • 输出结果：

    [[ 1 0.98647356]


[ 0.98647356 1 ]] **对角线上的数据表示yMat和yMat自己匹配的程度，为1，是最完美的，斜对角表示yHat和yMat的匹配程度是0.98**
  • 2017.10.11-10.13
  • 主要学习了局部加权线性回归算法，并学习了交叉验证的原理

2.4 局部加权线性回归(Locally Weighted Linear Regression,LWLR)

  • 普通的线性回归算法，得到的参数矩阵（theta是根据少量数据训练后得到的参数矩阵θ，他是固定的、有限的，对于对于未来数据进行预测的时候不会改，这叫做参数学习算法（parametric learning algorithm）。而局部加权线性回归算法在计算每个点的权重时，会考虑所有的输入数据，虽然计算量增加了，但是预测更加接近实际值，在一般称为无参学习算法（non-parametric learning algorithm）
  • 该算法解出回归系数θ的形式如下：

image

LWLR算法采用的“核”函数最常用的就是高斯核模型，高斯核对应的权重如下：

image

其中||x(i)-x||是求范数，||x||=sqrt(x*xT)。这里的k就是前面所述核模型的h,表示高斯核模型的带宽。是唯一需要确定的值。

  • python代码如下：
# LMS：least mean squares
from numpy import *
import matplotlib.pyplot as plt

def lwlr(testPoint,xArr,yArr,k=1.0):
    xMat = mat(xArr); yMat = mat(yArr).T
    # 每个点都会有一个权重值，每次预测一个点的权重值都要考虑全部的数据
    m = shape(xMat)[0]  # 得到样本个数
    weights = mat(eye(m)) # 得到一个m*m的单位矩阵
    for j in range(m):
        diffMat = testPoint - xMat[j,:]
        # 更新该行的权重，每一行是一个样本，权重值一样
        # 核函数选择高斯核函数,范数计算：||x||=sqrt(x*x.T)
        weights[j,j] = exp(diffMat*diffMat.T/(-2*k**2))
    xTx = xMat.T*weights*xMat
    if linalg.det(xTx) == 0.0:
        print("This matrix is singular,cannot do inverse")
        return
    theta = xTx.I * xMat.T * weights * yMat
    return testPoint * theta  # 得到一个预测值

def lwlrArray(testArr,xArr,yArr,k):
    m = shape(testArr)[0]
    yHat = zeros(m)
    for i in range(m):
        yHat[i] = lwlr(testArr[i],xArr,yArr,k)
    return yHat

def loadDataSet(fileName):
    numFeat = len(open(fileName).readline().split('\t')) - 1 # 计算特征值n
    dataMat = []
    labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = []
        # strip是去除数据开始和末尾的空格
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))

    return dataMat,labelMat

def plotTest(xMat,yMat,xHat,yHat,k):
    # flatten使列矩阵变成行矩阵，.A是是matrix变为array
    # plt.scatter(xMat[:,1].flatten().A[0],yMat.T[:,0].flatten().A[0])
    plt.scatter(xMat,yMat)
    plt.hold(True)
    plt.plot(xHat,yHat,'r')
    plt.legend('k=%f'%k)
    plt.show()

def main_lwlr():
    xArr,yArr = loadDataSet('ex0.txt')
    xMat = mat(xArr)
    yMat = mat(yArr)
    # print("yArr[5]=%f"%yArr[5])
    # print("预测值为：")
    # yHat_i = lwlr(xArr[5],xArr,yArr,k=0.01)
    # print(yHat_i)
# 需要对xMat排序
    srtInd = xMat[:,1].argsort(0) # 按列排序，0表示按列排序，1表示按行排列
    # xSort = xMat[srtInd][:,0,:]  # xMat排序后得到的是三维矩阵，不好理解
    xSort = xMat[srtInd,1]

    k = 0.01
    yHat = lwlrArray(xArr,xArr,yArr,k)
    plotTest(xMat[:,1],yMat,xSort[:,1],yHat[srtInd],k) #  # 因为采用高斯核模型，与输入数据有关，所以yHat要做相应的调整

if __name__ == '__main__':
    main_lwlr()
  • 上面代码给定了k=0.01,得到的拟合曲线为：

image

  • k值的选取对拟合结果有很大的影响，因为k值是高斯核模型的带宽，带宽越宽，那么每个点的权值就更加接近，拟合效果近似直线，带宽越小，每个点的权重值相差较大，容易出现过拟合的现象，这在实际的场景中需要对参数进行调节。
  • 下面取k=1.0,k=0.01,k=0.003分别进行拟合对比：

image

  • 可以看出k=0.01时拟合效果最好，k=1.0时和普通最小二乘法是一样的，k=0.003时出现了过拟合的现象。
  • 局部加权平均和最小二乘算法的比较
LSMLWLR
Fit θ to minimize sum(y(i)-θTx(i))2Fit θ to minimize sum[(w(i))(y(i)-θTx(i))2]
output θTxoutput θTx
  • 介绍了以上两种方法来找出最佳的拟合直线，接下来将用这些技术来预测鲍鱼的年龄
    数据来源：机器学习实战第八章 
    print("训练数据预测")
    xArr,yArr = loadDataSet('abalone.txt')
    # 对训练数据进行预测，误差结果计算
    yHat01 = lwlrArray(xArr[0:99],xArr[0:99],yArr[0:99],0.1)
    yHat1 = lwlrArray(xArr[0:99],xArr[0:99],yArr[0:99],1.0)
    yHat10 = lwlrArray(xArr[0:99],xArr[0:99],yArr[0:99],10.0)
    print("k=0.1时，误差代价为：%f"%rssError(yArr[0:99],yHat01.T))
    print("k=1.0时，误差代价为：%f"%rssError(yArr[0:99],yHat1.T))
    print("k=10.0时，误差代价为：%f"%rssError(yArr[0:99],yHat10.T))
# 可以看出对训练数据预测，k越小误差越小
    print('='*50)
    print("新数据预测")
    # 对新的数据进行预测，误差结果计算
    yHat01 = lwlrArray(xArr[100:199],xArr[0:99],yArr[0:99],0.1)
    yHat1 = lwlrArray(xArr[100:199],xArr[0:99],yArr[0:99],1.0)
    yHat10 = lwlrArray(xArr[100:199],xArr[0:99],yArr[0:99],10.0)
    print("k=0.1时，误差代价为：%f"%rssError(yArr[100:199],yHat01.T))
    print("k=1.0时，误差代价为：%f"%rssError(yArr[100:199],yHat1.T))
    print("k=10.0时，误差代价为：%f"%rssError(yArr[100:199],yHat10.T))
# 对于新数据，k越小反而误差越大，这是因为造成了过拟合现象，而
# 预测模型的好坏就应该根据对新数据的预测效果来判断
    print('='*50)
    print("最小二乘法对新数据进行预测")
    ws = standRegres(xArr[0:99],yArr[0:99])
    yHat = mat(xArr[100:199]) * ws
    print("最小二乘法误差代价为：%f"%rssError(yArr[100:199],yHat.T.A))
  • 输出结果为：
数据来源条件误差代价
训练数据预测k=0.156.795728
训练数据预测k=1.0429.890562
训练数据预测k=10.0549.118171
新数据预测k=0.121537.640485
新数据预测k=1.0573.526144
新数据预测k=10.0517.571191
最小二乘法新数据预测518.636315

* 从上述结果可以知道，对于新数据，核大小k=10时误差代价最小，简单的线性回归达到了与局部加权线性回归类似的效果，这些表明必须在未知数据上比较效果才能选取最佳模型。上例中k=10也不一定是最优的结果，如果要选择更好的方法，可以采用交叉验证的方法。

  • 模型选择步骤
    1. 准备模型的候选M1,…,Mk。
    2. 对各个模型M1,…,Mk求解其学习结果f(1),…,f(k)
    3. 对各学习结果f(1),…,f(k)的泛化误差G(1),…,G(2)进行评价。
    4. 选择泛化误差最小的模型为最终模型

泛化误差是指对未知的测试输入样本的输出所做的预测的误差。在对泛化误差的的评价过程中，泛化误差并不是训练样本的误差，实际中经常使用的是交叉验证法。

  • 交叉验证法（Cross Validation）

    在交叉验证法中，把训练样本的一部分拿出来作为测试样本，不将其用于学习，而只是用来评价最终学习结果的泛化误差。

  • 交叉学习算法流程

    1. 把训练样本{（xi,yi）}ni=1随机划分成m个集合（大小基本相同）
    2. 选取其中的m-1个作为训练样本进行训练，求解其结果fi。
    3. 循环选择训练样本集对测试样本集Ti 进行学习，求每个学习结果集产生的代价误差。

image

这里Ti 表示集合包含的训练样本的个数。另外sign（y）表示y值的符号函数：

image

  1. 对各个泛化误差的评估值Gi 进行平均，得到最终的泛化误差的评估值G。

image

  • 现在在最小二乘法(采用标准方程法)和局部权重线性回归（高斯核，k=10）对鲍鱼的年龄预测误差进行交叉验证，代码如下：
# 分成五组，每组50个样本
# 标准回归
    xArr,yArr = loadDataSet('abalone.txt')
    N = 50 # 样本数
    n = 8  # 特征值
    m = 5  # 分成5组
    k = 10 # 核大小
    ws = mat(zeros((n,m-1)))
    G = mat(zeros((m-1,1)))
    for i in range(m-1):
        ws[:,i] = standRegres(xArr[i*N:i*N+N],yArr[i*N:i*N+N])
        fi = mat(xArr[N*(m-1):N*m])*ws[:,i]
        G[i] = 1/N*rssError(yArr[N*(m-1):N*m],fi.T.A)
    print("标准方程法预测值误差：%f"%(G.sum()/(m-1)))

# 局部权重线性回归
    lG = mat(zeros((m-1,1)))
    for i in range(m-1):
        yHat = lwlrArray(xArr[N*(m-1):N*m],xArr[i*N:i*N+N],yArr[i*N:i*N+N],k)
        lG[i] = 1/N*rssError(yArr[N*(m-1):N*m],yHat.T)
    print("局部权重线性回归预测值误差：%f"%(lG.sum()/(m-1)))
  • 运行结果如下：经过交叉验证，可以看出k=10的局部加权线性回归算法和标准最小二乘法的泛化误差大小相差不多，从而得出两着之间的拟合效果类似
标准方程法预测值误差：6.085034
局部权重线性回归预测值误差：6.083830
【机器学习】监督学习算法之：线性回归
商务合作 | 面试培训 | 职场规划 ==>主页扫码
02-01 3123
机器学习必会算法之 线性回归。
[Python从零到壹] 十二.机器学习之回归分析万字总结全网首发（线性回归、多项式回归、逻辑回归）
热门推荐
杨秀璋的专栏
07-03 4万+
前一篇文章讲述了数据分析部分，主要普及网络数据分析的基本概念，讲述数据分析流程和相关技术，同时详细讲解Python提供的若干第三方数据分析库，包括Numpy、Pandas、Matplotlib、Sklearn等。本文介绍回归模型的原理知识，包括线性回归、多项式回归和逻辑回归，并详细介绍Python Sklearn机器学习库的LinearRegression和LogisticRegression算法及回归分析实例。进入基础文章，希望对您有所帮助。
机器学习-监督学习之线性回归
weixin_45516016的博客
08-13 458
机器学习笔记1-监督学习 文章目录机器学习笔记1-监督学习线性回归用数据拟合直线调整直线绝对值技巧Absolute Trick平方技巧 Square Trick线性回归 Linear RegressionError Function随机梯度下降法与批量梯度下降法在SKlearn中实现高维度求解w1, w2数学组方法注意事项正则化 Regularization 线性回归 分类预测的是状态，而回归预测...
监督学习 - 线性回归
金皓皓的专栏
12-21 644
本文介绍linear regression的相关知识，作为监督学习中的一个重要的方法和手段，其重要性不言而喻。其实线性回归的应用十分简单，就是在一组数样本(x,y)中发现一定规律，用来对新的xi预测新的yi。 就比如下图有这样一组数据： 然后我们根据已知的这些数据，通过线性回归进行学习，得到这样的一条直线就可以根据新的房屋面积预测价格了。当然实际要复杂很多，也可能不是一条直线，甚至不在
机器学习---监督学习之线性回归
I_AM_KK的博客
05-24 419
分类和回归的区别： 分类，我们预测一个状态， 回归，我们预测一个值。 线性回归是：通过已有的数据，拟合出一条符合它的直线，用来预测其他可能出现的值。 如何拟合一条好的直线呢？ 绝对值技巧： 先随机生成一条直线y=w1x+w2y=w1x+w2y=w1x+w2,w1是斜率，w2是截距，我们通过调整这两个参数来使这条直线逐渐靠近一个原始的点（p,q）。 如何慢慢调整这两个参数呢？ 我们把w1+p,w...
监督学习---线性回归
Gfqwy2021
04-01 581
1.监督学习(supervised learning)：在有标记样本上建立机器学习模型 数据有标签、一般为回归或分类等任务 2. 监督学习三要素：标注数据 => 学习模型 => 损失函数 即：标识类别信息的数据=> 如何学习得到映射模型 => 如何对学习结果进行度量（预测值与真实值的差值） 3. 分类和回归的区别： 分类：要预测的目标函数是离散的； 回归：要预测的目标函数是...
监督学习-线性模型-2. 岭回归&Lasso回归
04-09
线性回归、岭回归、Lasso 回归和弹性网络回归均可以用于解决监督学习中的回归问题。选择哪种方法取决于问题的具体情况和数据的特点。 本文总结了监督学习中线性模型的两个变种：岭回归和 Lasso 回归。它们都是解决...
机器学习数学基础之线性回归
01-06
机器学习数学基础之线性回归1. 线性回归公式2. 利用矩阵对线性公式整合3. 误差项分析4. 似然函数5. 最小二乘★（矩阵求导公式） （本文为学习总结笔记，如有雷同请无视） 知识点： 1、利用矩阵的只是对线性公式进行...
监督学习-线性回归（数学建模）
pdp-11
05-23 1081
这是在学习吴恩达的机器学习课程时，一些随笔。 课程地址在 coursera ML 文章目录监督学习 VS 无监督学习Cost function梯度下降学习率 α\alphaα多元梯度下降特征缩放和均值归一化特征和线性拟合Normal Equation 正规方程梯度下降 VS Normal Equation数学建模中的回归问题 监督学习 VS 无监督学习 简单来说： 监督学习：我们有一组数据集，并且已经知道了正确的 output，以及 input 和 output 之间的关系。我们期望根据已有的数据确定一个
【2】监督学习之线性回归
qq_33612665的博客
10-16 146
线性回归的概述 【1】最小二乘法（ordinary least squares,ols） 基于均方误差最小化来进行模型求解的方法 缺点：维数过多时容易出现过拟合 【2】岭回归(rideg regression) 在ols的基础上引入L2范数正则化 的参数越大，回归参数越小，模型越平稳 缺点：回归参数的模型值很小，但是很难达到0值； 【3】loss回归(lasso) 在...
有监督学习——线性回归
最新发布
weixin_53880910的博客
06-14 661
有监督学习是通过已知的样本产生预测模型的学习方法，任何有监督学习模型都可被想象成一个函数
人工智能-机器学习-监督学习-线性回归
oooniubo的博客
05-25 819
回归算法是监督学习其中之一。线性回归算法是已知样本和样本对应的预测结果，求新的样本的预测结果。1、先对已知样本进行适当的处理，包括去除一些缺省值，一些不正常的值等。2、样本和结果进行了建模，如下：假设求的系数为，这是要求的。就是要求一个直线拟合所有的已知的样本和结果值。其中x为样本属性，y为x对应的预测值，这两个值一直是已知了，比如x1，x2为工资和年龄，y为样本对应的银行给予的贷款值，为误差，这...
监督学习——线性回归
童话——博客
03-31 488
目录 线性回归 绝对值技巧（只考虑了p的值，即与y轴的距离，q的值不在考虑范围） 平方技巧 梯度下降法 平均绝对值误差 平均平方误差 最小化误差函数 均方误差与总平方误差 小批量梯度下降法 批量梯度下降法与随机梯度下降法 小批次梯度下降法 绝对值误差VS平方误差 scikit-learn中的线性回归 线性回归练习 高维度 多元线性回归 解数学方程租（未完待续......
【监督学习之线性回归】
weixin_36808034的博客
02-22 398
了解线性回归
监督学习：简单线性回归
weixin_43608722的博客
06-16 208
监督学习：简单线性回归 为散点数据集(x,y)拟合一条曲线 import matplotlib.pyplot as plt import seaborn as sns sns.set(); import numpy as np rng = np.random.RandomState(42) x = 10 * rng.rand(50) y = 2 * x - 1 + rng.randn(50) plt.scatter(x, y); 1.选择模型类： 在 Scikit-Learn 中，每个模型类都是一个 P
机器学习入门--监督学习（一）线性回归
qq_37588821的博客
02-14 309
    初入机器学习，根据吴恩达的机器学习课程学习，根据1978-2012年农村收入与支出数据进行线性回归相关知识的练习。hello.txt数据是从网上得到。matlab代码%% linear regression from sunjerdege with matlab  clear;  %% read GDP data  % c1: city；c2：population；c3：GDP  [ x,...
Python有监督学习之线性回归
gezongbo的博客
04-05 2235
有监督学习之线性回归 【实验目的】 掌握Python编程实现线性回归，散点图、拟合效果图制作，模型评价指标、计时功能、保存模型； 【实验要求】 理解Python在回归分析中的评价指标等细节操作； 掌握本章讲授的线性回归的Python编程操作。 【实验过程】（必要的实验步骤、绘图、代码注释、数据分析） 实验步骤 1、读入数据 2、数据预处理 3、数据分析方法介绍 4、编程实现数据分析方法，含代码注释 5、重要结果的图表绘制 6、必要的结果解释 【实验题目】 1. 利用一元线性回归算法探讨出
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值