机器学习（三）——理解线性回归

最新推荐文章于 2021-09-14 11:41:03 发布
最新推荐文章于 2021-09-14 11:41:03 发布
阅读量261 收藏
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41386300/article/details/98387326
版权
本文介绍了回归的概念，强调了回归是事物回归平均值的过程。在讲解线性回归时，从简单的一元线性回归出发，说明其为一元一次方程，并指出在数据服从正态分布时适用。通过最小二乘法确定最优模型，解释了损失函数的计算。接着扩展到多元线性回归，展示其如何表示为矩阵形式，并提到了θ和w的等价性。
摘要由CSDN通过智能技术生成
  • 理解回归
    在这里插入图片描述
    现实中很多事情都服从正态分布
    很多事情都会回归到一定区间内
    总结：回归就是回归到平均值
  • 理解线性
    在这里插入图片描述
  • 理解简单线性回归
    就是一元一次方程组，只有一个x也就是影响y的因素只有一个。
    维度是一维的
    当数据是一次方并且服从正态分布，适合用线性回归

例
在这里插入图片描述
如上图，线形回归就是让这条线尽可能穿过多的点

  • 怎么做？
    在这里插入图片描述
    用最小二乘法（用每一个点的（预测值 - 真实值）的平方求和，然后除以个数）求得误差，当误差最小的时候就是最优模型
    这个公式也叫损失函数或目标函数

  • 多元线性回归
    在这里插入图片描述

最低0.47元/天 解锁文章
qq_41386300
关注
专栏目录
机器学习：线性回归的理解
随便记记
06-16 526
关于假设数据高斯分布的理解 当误差符合正态分布ξ−N(0,σ2)\xi -N(0,σ^2)ξ−N(0,σ2)时，因变量则符合正态分布N(Xθ,σ2))N(Xθ,σ^2))N(Xθ,σ2))，其中预测函数y=Xθy=Xθy=Xθ，则观测值应该为y^=y+ξ\hat{y}=y+\xiy^​=y+ξ，这个也就是说当误差符合正态分布时，其因变量必然也符合正态分布。 在用线性回归模型拟合数据之前，首先要求数据应符合或近似符合正态分布，否则得到的拟合函数不正确。若本身样本不符合正态分布或不近似服从正态分布，则要采用其
线性回归
guanguanboy的专栏
11-23 108
线性回归的算法最后总结成三个步骤： 1，根据训练样本构造输入矩阵X，输出向量y。 2，计算矩阵X的伪逆 3，w = X的伪逆*y w 是一个（d+1）*1 维的向量，其中d为样本的维度，也就是属性个数。 预测新的样本： 新样本的取值 = w的转置 * x；...
机器学习（七）——逻辑回归
qq_41386300的博客
08-13 262
1. 逻辑回归 逻辑回归就是对多元线性回归的缩放 公式如上图，其中t就是多元线性回归的公式：w的转置 * X，逻辑回归的y的取值范围为（0，1），而多元线性回归的y的取值范围是负无穷到正无穷 逻辑回归适合做二分类，用0.5做间隔，大于0.5是一类，小于0.5是另一类 知识点： 代码实现鸢尾花案例——二分类： import numpy as np from sklearn import...
SVM支持向量机
qq_44250700的博客
09-14 656
文章目录优点缺点原理计算方法 support vector machine（SVM）属于 监督学习，是一种 线性分类器 优点 模型效果好 缺点 只能准确处理 线性问题。 针对 相互交融的非线性问题，可以加大容错率Soft-Margin SVM，保证大局上的正确性。 不能用于 完全线性不可分的情况。可以引入Kernel，将问题转化到更高维度上。 原理 找到合适的β来描述 决策分界面 和 边界分界面。 两条 决策分界面 最中间的面就是 决策分界面。 两个 边界分界面 之间的距离为 两个类别之间的距离，即 分
小张的深度学习笔记（二）
qq_36919342的博客
12-08 1448
神经网络基础 2.1 二分分类 1、二分分类（Binary Classification）例子 cat vs no cat 输入一张图片，这张图片可以由一个特征向量x表示，并预测该图片中是否有猫，输出y，y为0时则表示没有猫，为1则表示有猫。 假设该图片分辨率为6464，其在电脑中的表示方式为三个6464的矩阵，这三个矩阵分别表示红、黄、蓝三个RGB颜色通道亮度。特征向量x的构建即是把三个矩阵数...
机器学习笔记之四——线性回归原理以及推导
D的博客
12-11 313
一元线性回归：   对于样本[(x1,y1),(x2,y2),……(xn,yn)]，xi为特征，yi为标签。(字幕i代表下标)   假定y与x有：                        y = f(xi) = w*xi + b    确定参数w和b的值的关键在于如何衡量f(x)与y之间的差距，即                   ** 基于均方误差最小化来进行模型求解的方法成...
机器学习——单变量线性回归详解
12-22
单变量线性回归是机器学习领域中最基础的预测模型之一，它用于建立因变量（目标变量）与一个自变量（特征变量）之间的线性关系。本文将深入探讨单变量线性回归的实现过程，包括数据预处理、模型构建、参数优化以及...
机器学习——单变量线性回归.pdf
03-27
在机器学习领域，单变量线性回归是一种基本的预测模型，它使用一条直线来描述一个变量如何依赖于另一个变量。本篇文档是根据吴恩达在机器学习课程中讲解的内容所作的笔记，涵盖了单变量线性回归的核心概念和算法流程...
机器学习 回归篇（1）——多元线性回归
12-20
机器学习 回归篇（1）——多元线性回归摘要线性回归简介python实现运行结果及可视化 摘要 本文介绍了最基础的回归问题——多元线性回归，并通过python进行实现及可视化展示运行结果。 线性回归简介 线性回归问题的...
机器学习——线性回归
04-26
完成一个线性回归的算法，其中train.npz是数据 读取数据的方式为： import numpy as np data = np.load("train.npz") x_array,y_array = data['x'],data['y'] 其中x_array是对2000组特征，每个特征为五维,y_array是...
机器学习9
Jige的菜鸟进化史~
11-02 519
机器学习第10章走起。 现在我们有兴趣的不仅仅是二元的分类，我们有兴趣的输出是一个[0,1]这样的输出 比如 但是在实际中的资料，我们很难得到0.9,0.6,0.2这样的数字，因为我们在现实中，我们只能看到这件事情发生没有， 但是并不能看到它发生的概率是多少。 所以我们可以把现实中实际的资料看成上面那个东西有杂讯的版本。 即这个是有杂讯的版本 那么我们现在的问题就是我们
深度学习笔记（3） 向量化逻辑回归
热门推荐
氢键H-H
05-17 2万+
向量化运算的优势、向量化编程、编程举例
机器学习（十三）——相似度的计算方法
qq_41386300的博客
08-24 2848
无监督机器学习特点： 聚类特点： 对于聚类来说，相似性非常重要，下面我们就来看看相似度怎么算 最经典的就是欧式距离（两点之间的距离，上图中的二维空间公式） 上图中右下角的第一个公式就是Jaccard系数，如果是距离的话第二个公式可以体现 例：推荐系统 相似度的两种测量方式：一个测量是高维空间里向量点和向量点的相似度；另一个是Jaccard系数（测量两个集合之间的相似度） ...
机器学习（六）——多项式回归及通过案例学习做预测的流程
qq_41386300的博客
08-11 1717
1. 多项式回归Polynomial regression 有的时候我们的数据可能是非线性的变化，这个时候我们的线性模型就拟合不了了，怎么办呢？两种方法： （1）用非线性的算法 （2）把数据变成线性的 而多项式回归是用来做特征转换的，就是用第二种方法 从上图中可以知道，多项式回归就是在升维（把两个维度的x变成里6个维度） 例如： 当原来只有两个维度x0，x1 升维度后（二阶）就变成了三个： x0...
机器学习（九）——Softmax做多分类
qq_41386300的博客
08-15 1547
概括之前学的： 上图中只有softmax做多分类回归还没接触，其他都接触过了，现在来讲讲Softmax回归如何做多分类，及它和逻辑回归做多分类的区别 解读上图：借助下图的例子解读 对于第一个公式，和逻辑回归不同的是theta下面多了个k k代表做的是几分类，如下图，做三分类 k=1的时候，此时的theta就是一列：w1，w2，w3，w4 k=2的时候，theta为一列：w5，w6，w7，w8...
机器学习（六）——l1，l2 正则化以及Elastic-Net
qq_41386300的博客
08-10 1269
1. Ridge Regression 上图的公式 +后面是惩罚项，用来保证泛化能力的；+ 前面是我们的损失函数，用来保证我们的拟合效果的，而α是一个参数，用来让你决定更看重正确性还是泛化性，|| | |这个代表加和，即w0+w1+… 对于泛化性和正确性的评估： 当我们有数据时，把它分为两部分，训练集和测试集，一般训练集比较多 正确性：通过模型对训练集里的数据求一下正确性，看拟合程度怎么样 泛化...
机器学习（七）——用逻辑回归实现音乐分类案例，傅立叶变换相关
qq_41386300的博客
08-13 1260
理解维度： 图 所以我们把X中的x可以叫做是一个特征，也可以叫做影响结果的因素，也可以叫做一个维度，每增加一个特征就是增加了一个维度 音乐分类案例 有十种类别的音乐，每种类别下有一百首歌，每一首歌都是所以我们一共有1000个特征 怎么把这些音乐转换为特征呢？ 用傅里叶变换： 图 把一首歌变成频率的表达 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值