机器学习：线性方法

最新推荐文章于 2021-12-23 20:19:50 发布
最新推荐文章于 2021-12-23 20:19:50 发布
阅读量1.2k 收藏 2
点赞数 5
分类专栏： 机器学习 考试攻略 机器学习 文章标签： 机器学习 线性方法 线性回归 逻辑回归 线性判别分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39384184/article/details/91564395
版权

线性回归的损失函数使用平方和，逻辑回归的损失函数使用交叉熵。

线性回归

任务和模型

获取样本数据的一些特征，看作特征空间中的点，然后寻找线去拟合样本分布。

模型表示

训练集->学习算法->假设函数（h：是从 X 到 Y 的一个关系映射，可以是线性的，也可以是非线性的）

任务的损失函数

在这里插入图片描述

优化（梯度下降）

在这里插入图片描述

在这里插入图片描述

多元线性回归

特征缩放

Make sure features are on a similar scale.

  • better：（-1，1）
  • maybe：（-1/3,1/3）or（-3，3）

在这里插入图片描述

学习率

在这里插入图片描述

正态方程

在这里插入图片描述

若 X 不可逆，则存在冗余的特征，或特征数量太多。

逻辑回归

假设表示

在这里插入图片描述

决策边界

也称为判决函数或决策函数。

在这里插入图片描述

损失函数

在这里插入图片描述

在这里插入图片描述

梯度下降

在这里插入图片描述

高级优化

在这里插入图片描述

通过 matlab 的 fminunc() 来实现。

多元分类：一对多

在这里插入图片描述

线性判别分析

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

嘿哈哈哈
关注
  • 5
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习：线性回归之波士顿房价问题
02-18
机器学习：线性回归之波士顿房价问题
机器学习-03 线性模型
一个小白
10-30 1491
3、线性模型 谈及线性模型，其实我们很早就已经与它打过交道，还记得高中数学必修3课本中那个顽皮的“最小二乘法”吗？这就是线性模型的经典算法之一：根据给定的（x，y）点对，求出一条与这些点拟合效果最好的直线y=ax+b，之前我们利用下面的公式便可以计算出拟合直线的系数a,b（3.1中给出了具体的计算过程），从而对于一个新的x，可以预测它所对应的y值。前面我们提到：在机器学习的术语中，当预测值为连续值时，称为“回归问题”，离散值时为“分类问题”。本篇先从线性回归任务开始，接着讨论分类和多分类问题。 .
机器学习-线性学习
qq_43256584的博客
12-23 561
一、线性回归 1 回归和分类的区别在于要预测的目标是连续值 定义：给定由m个属性描述的样本x=(x1,x2…xn),其中xi是x在第i个属性上的取值，线性回归试图学得一个通过属性值的线性组合来进行预测函数： f(x)=w1x1+w2x2+......+wmxm+bf(x)=w_{1}x_{1}+w_{2}x_{2}+......+w_{m}x_{m}+bf(x)=w1​x1​+w2​x2​+......+wm​xm​+b 一般的向量的形式是 f(x)=wtx+bf(x)=w^{t}x+bf(x)=wtx+
机器学习方法篇(2)------线性模型
对半独白
06-11 933
线性模型应该是最直观最容易理解的一种机器学习模型了，同时也是使用最广泛的一种模型，比如各种模型中常出现的softmax层、全连接层等等，都属于线性模型。那么线性模型到底是一个什么模型，其训练方式又是如何？
机器学习线性模型
weixin_45437080的博客
10-27 1280
机器学习线性模型之线性回归以及归一化和优化处理（实验） 第一次写文章如有不足请指出，还处于正在学习中的小白。 一、实验目的 1、掌握训练样本的划分方法； 2、理解线性回归模型的意义； 3、掌握训练和预测的应用过程； 4、掌握线性回归性能评估方法（均方误差MSE）； 5、算出相关线性方程； 6、掌握数据归一化； 二、实验的内容 原始数据集：Advertising.csv 数据共4列200行，每一行为一个特定的商品，前3列为输入特征，最后一列为输出特征。 TV:该产品用于电视上的广告费用（千元） radio：
机器学习——线性学习
爆破手阿瓒的博客
08-24 141
回归与分类的区别： 回归：预测的目标函数是连续值 分类：预测的目标函数是离散值 最小二乘法：基于预测值和真实值的均方差最小化的方法来估计参数。
机器学习之回归问题：线性回归、逻辑回归等等.zip
最新发布
04-30
机器学习之回归问题：线性回归、逻辑回归等等.zip机器学习之回归问题：线性回归、逻辑回归等等.zip机器学习之回归问题：线性回归、逻辑回归等等.zip机器学习之回归问题：线性回归、逻辑回归等等.zip机器学习之回归...
机器学习——线性回归
04-26
完成一个线性回归的算法，其中train.npz是数据 读取数据的方式为： import numpy as np data = np.load("train.npz") x_array,y_array = data['x'],data['y'] 其中x_array是对2000组特征，每个特征为五维,y_array是...
机器学习：基于线性回归模型的物流运费成本预算分析
04-15
机器学习：基于线性回归模型的物流运费成本预算分析[含代码] 从爬取油价到数据挖掘，再到正太分布检验、以及可视化探索性分析、最后到多元线性回归模型
吴恩达机器学习第二章：线性回归
04-24
吴恩达机器学习第二章：线性回归
机器学习__线性模型
Harry的博客
04-22 310
上一次看《机器学习》已经是很久之前了，很多都记得模糊了，所以最近认真的再复习一遍。 一， 线性回归（Linear Regression） 线性回归是一种有监督模型，线性回归试图使用一个线性方程来对数据进行拟合从而达到比较好的预测输出（形如y=w⃗ x+by=w→x+by = \vec w x+b）。 首先给定数据集的表示形式 D={(x⃗ 1,y1),(x⃗&nbs...
机器学习Chapter-1（线性模型）
DFan的NoteBook
08-12 5810
hello world! 引言前段时间一直在看深度学习和TensorFlow的教程，在学习的过程中，深感自己的数学基础较差，尤其是在对数据做预处理等操作时，看着书上那一堆公式，整个人都是懵逼的。看着桌上三本机器学习相关的书：西瓜书《机器学习》、《Python大战机器学习》、《机器学习实战》，思索再三，我决定接下来三个月时间努力啃完它们，顺带写blog，算是一边记笔记一边督促自己坚持下去
机器学习-线性分类
weixin_38498942的博客
07-09 880
线性分类器基于特征的线性组合的值进行分类决策。 想象一下，线性分类器将把定义特定类的所有特征合并到其权重中。当问题是线性可分离的时，这种类型的分类器效果更好。 X: 输入向量 W：权重矩阵 B：偏差矢量 权重矩阵对于每个需要分类的类都有一行，对于x的元素（特征）有一列。在上面的图片中，每行将由权重矩阵中的一行表示。改变权重的效果将改变线条角度，同时改变偏压，将使线条左右移动。 参数化方法这个想法是假设/模型具有参数，这将有助于输入向量到特定类别评分之间的映射。
机器学习-线性模型
hmoji
07-01 852
线性模型是机器学习中最基础的模型，在中学学过的最小二乘法其实就是机器学习中的一种线性模型。我们先来回忆一下最小二乘法是什么 最小二乘法与基本线性回归 假设有如下所示的5个数据 图像来自知乎@马同学 似乎这5个数据是在这条绿线上下浮动，我们的目的就是找到这条绿线的函数表达式。我们先假设这条绿线的函数表达式是 y^=ax+b \hat y=ax+b y^​=ax+b 现在我们的问题就转换成了找到aaa和bbb的值。我们希望数据点尽可能多地落在函数图像上，即数据的误差和拟合直线的误差越小越好。由此得到以下式子
机器学习 - 线性模型
呵呵
12-12 5826
一．线性回归—LR 线性回归是一种监督学习下的线性模型，线性回归试图从给定数据集中学习一个线性模型来较好的预测输出（可视为：新来一个不属于D的数据，我们只知道他的x，要求预测y，D如下表示）。 首先我们还是给定数据集的严格表示（我们这里直接讲多维的线性回归）： 即是线性模型，那么我们容易给出目标函数： 用向量的方式来表示目标函数，其中目标函数产生的结果即是我们的输出： 为了便
机器学习--线性模型
大魔王
10-24 779
1.基本形式 线性模型：给定一组样本X=(x1,x2...xd)，其中xi是X在第i个属性上的取值，通过属性线性组合来预测函数 其中W=(w1,w2...wd)分别为各个属性xi的权重。 1.1线性回归：数据集D={(x1,y1),(x2,y2)...(xm,ym)}，其中xi={xi1,xi2...xid},yi是实数，寻找一个线性模型使得尽可能准确预测实值输出标记。 多元线性回...
机器学习之线性模型
Y_z001的博客
04-13 384
线性模型是非常常见、简单的模型，很多更为强大的非线性模型是在线性模型的基础上通过引入层级结构或者高维映射得到的。而且线性模型很大的一个优点是可解释性，比如对于模型： y = 0.8*x1 + 0.2*x2 + 0.05*x3 + 1 我们很容易看出来特征x1在模型分类判别时最为重要。这一思想在cam深度网络可视化中也有体现，感兴趣的童鞋可以自行搜索，具体不细说了。 本文参照西瓜书中的内容，...
机器学习——入门基础（线性模型）
友培的博客
12-03 1735
文章目录西瓜书机器学习第三章线性回归一元线性回归极大似然估计凸集、凸函数梯度海塞矩阵（Hessian）多元线性回归对数线性回归广义线性模型对数几率回归(逻辑回归)线性判别分析类别不平衡的问题处理方法 西瓜书机器学习第三章 贴上又一位宝藏up主的传送门二次元的Datawhale的个人空间_哔哩哔哩_bilibili 对于在机器学习线性模型的属性判别的时候，分为多种的情况，由上而下依次添加了多个属性，这里着重讲解最后一个无序的离散特征，是将x4、x5、x6三个值作为标准，比如黄色，那保留x4，x5和x6置为0
机器学习多元线性拟合
08-21
机器学习多元线性拟合是一种利用机器学习算法对多个特征和一个目标变量之间的关系进行建模的方法。通过使用已知的特征和目标变量的数据集，机器学习算法可以学习出一个拟合函数，从而对未知的数据进行预测。 其中，引用提到了使用Matlab进行数据的多元线性拟合。在这个方法中，可以使用Matlab中的regress函数来进行多元线性回归模型的建立。该函数可以通过将特征变量和目标变量作为输入，拟合出一个最优的线性模型。 另外，引用中提到了留一法（leave-one-out cross validation）的应用。留一法是一种常用的交叉验证方法，用于评估机器学习模型的性能。该方法将数据集中的每个样本依次作为测试集，其余样本作为训练集进行模型训练和性能评估。通过重复这个过程，可以得到模型的平均性能指标，从而评估模型的泛化能力。 综上所述，机器学习多元线性拟合是一种利用机器学习算法对多个特征和一个目标变量进行关系建模的方法。可以使用不同的工具和技术，如Matlab中的regress函数和留一法，来实现多元线性拟合并评估模型的性能。如果您想进一步学习和应用机器学习算法，建议您继续深入学习和实践相关的项目，以提升自己的机器学习能力。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [用机器学习的方法进行数据的多元线性拟合](https://blog.csdn.net/qq_44849814/article/details/113529886)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Python机器学习项目实战与案例分析.md](https://download.csdn.net/download/pleaseprintf/88229796)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值