机器学习 (一)：线性回归

最新推荐文章于 2022-05-09 19:51:02 发布
最新推荐文章于 2022-05-09 19:51:02 发布
阅读量227 收藏 1
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gt362ll/article/details/87325756
版权

1. 最小二乘法与最大似然

在回归问题中，我们最常用的就是最小二乘法，也就是均方误差MSE。

                                                                               J(\theta )=\frac{1}{2}\sum (h(\theta)-y)^2

这个形式乍一看很合逻辑，也没有想过为什么会用这种形式。要衡量回归问题的误差，肯定要有模型和目标的差值，再平方一下，求导方便。但其实这个形式可以从最大似然推出来。

推导

现在我们假设目标变量t，假设函数y，我们将目标变量看做是假设函数加上高斯噪声(根据中心极限定理，大量数据下噪声服从高斯分布)，其中高斯分布的均值是0，方差是\sigma ^2：

t=y(x,w)+\epsilon

我们发现在假设高斯噪声下最大似然和最小二乘法形式相同

IT莫莫
关注
专栏目录
【机器学习】目标检测常用评价指标
一顿输出
04-24 2381
这几个值的全称分别是： FP：假正例 FN：假负例 TP：真正例 TN：真负例。 一下子记不住也没关系. 接下来介绍一下我是怎么记忆的： 首先看第二个字母，它表示预测的结果（也就是预测为真或预测为假）。 然后看第一个字母，它表示本次预测是否预测对了，为防止歧义，可以理解为猜谜猜对了没有。 举个栗子：以FP为例。先看第二个字母：P表示预测的结果为真；再看第一个字母：F表示这个预测结果是错误的，因此真正的类别应该是假。 ----END---- 完结撒花~ ...
先验概率和后验概率_机器学习基础->概率论
weixin_39676633的博客
11-20 1206
一 随机变量与概率随机变量：可以随机取不同值的变量(概念可扩展到 向量值随机变量)随机变量分类：①离散随机变量(例如骰子的点数) ②连续随机变量(线段上的某一个点)数学表达式：x 表示随机变量， 表示随机变量的一个实例概率分布：随机变量再每一个可能取到的状态的可能性大小概率分布->独立性：A事件发生与B事件发生无关，则它们的概率分布可以用乘积表示 数学表达式 离散变量-&...
线性回归-理论基础
qq_35740095的博客
03-01 1294
目录1、线性回归2、线性回归的损失函数、代价函数、目标函数3、参数解析求解3.1、均方误差的高斯噪声模型假设3.2、目标函数推导3.3、解析求解4、梯度下降求解5、L1、L2正则6、线性回归的评估指标7、线性回归sklearn参数 1、线性回归 线性回归的数据集的形式为多个属性X与一个对应的Y，目的是求解X与Y之间的线性映射关系，优化求解参数的目标是降低预测值与Y之间的差别，“差别”的度量方式有...
机器学习中常见的评价指标总结
非晚非晚的博客
05-09 1万+
1. 评价指标的种类2. 分类任务的评价指标2.1 分类任务的一些概念（1） 交并率(IoU, Intersection over Union)（2）TP、FP、FN、TN与混淆矩阵2.2 准确率(Accuracy)2.3 精确率与召回率(Precision ， Recall)2.4 F1分数2.5 G分数2.6 AP和mAP2.7 ROC与AUC（1）ROC（2）AUC3. 回归任务的评价指标3.1 MSE3.2 MAE3.3 RMSE
机器学习项目步骤总结1
女王の专属领地
06-19 540
在微博上看到七月算法寒老师总结的完整机器的学习项目的工作流程，结合天池比赛的经历写的。现在机器学习应用非常流行，了解机器学习项目的流程，能帮助我们更好的使用机器学习工具来处理实际问题。1. 理解实际问题，抽象为机器学习能处理的数学问题 理解实际业务场景问题是机器学习的第一步，机器学习中特征工程和模型训练都是非常费时的，深入理解要处理的问题，能避免走很多弯路。理解问题，包括明确可以获得...
机器学习之回归问题：线性回归、逻辑回归等等.zip
04-30
线性回归、逻辑回归等等.zip机器学习之回归问题：线性回归、逻辑回归等等.zip机器学习之回归问题：线性回归、逻辑回归等等.zip机器学习之回归问题：线性回归、逻辑回归等等.zip机器学习之回归问题：线性回归、逻辑...
机器学习：线性回归之波士顿房价问题
02-18
机器学习：线性回归之波士顿房价问题
机器学习：基于线性回归、岭回归、xgboost回归、Lasso回归、随机森林回归预测卡路里消耗
最新发布
06-11
1. 线性回归：线性回归是一种基本的机器学习算法，用于建立连续变量和一个或多个自变量之间的线性关系模型。在预测卡路里消耗这个问题上，可以使用线性回归模型来建立卡路里消耗与其他相关变量（如运动时间、体重等...
机器学习实战-系列教程2：线性回归2（项目实战、原理解读、源码解读）
09-06
线性回归是机器学习中最基础且重要的算法之一，它在各种数据分析和预测任务中发挥着关键作用。本教程将深入探讨线性回归的原理、应用和实现，通过项目实战和源码解读帮助读者掌握这一核心技能。 首先，线性回归是一...
【机器学习】线性回归——最小二乘法的概率解释高斯噪声（理论+图解+公式推导）
CSDN 精品推荐
08-22 3765
如果需要完整代码可以关注下方公众号，后台回复“代码”即可获取，阿光期待着您的光临~ 文章目录概述高斯噪声 2021人工智能领域新星创作者，带你从入门到精通，该博客每天更新，逐渐完善机器学习各个知识体系的文章，帮助大家更高效学习。 概述 对于之前的文章我们使用了最小二乘估计然后获得了损失函数： L(w)=∑i=1m(wTxi−yi)2 L(w)=\sum_{i=1}^m(w^Tx_i-y_i)^2 L(w)=i=1∑m​(wTxi​−yi​)2 然后求解极值点，然后获得 w∗=(XTX)−1XTY.
机器学习提升算法(XGBoost Anaboost GBGT)
Big_Older的博客
04-24 822
1. 提升算法产生背景 假设当前一定得到了m-1棵决策树,是否可以通过现有样本和决策树信息,对第m棵决策树的建立产生有益影响? 各个决策树组成随机森林后,最后的投票过程是否在建立决策树时即确定呢? 2. 提升的概念 提升可以用于回归和分类问题,每一步产生一个弱预测模型(如决策树),并加权累加到总模型中,如果每一步的弱预测模型生成都是依据损失函数梯度方向,则称之为梯度提升 梯度提升算法是献给一...
机器学习：分类、多分类、回归模型的评估
热门推荐
皮皮blog
09-18 6万+
http://blog.csdn.net/pipisorry/article/details/52574156 衡量分类器的好坏 对于二类分类器/分类算法，评价指标主要有accuracy， [precision，recall，F-score，pr曲线]，ROC-AUC曲线，gini系数。 对于多类分类器/分类算法，评价指标主要有accuracy， [宏平均和微...
<机器学习&gt;自用笔记
煎饼加鸡丝
07-09 3289
一、《机器学习》第一张 绪论1、机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)2、基本概念：数据集(data set)：一组记录的集合示例(instance)/样本(sample)：一条记录对事件或对象的描述属性(attribute)/特征(feature)：反映事件或对象在某方面的表现或性质的事项属性值(...
辨析：最小二乘、线性回归与极大似然
eval_life, 享受Ruby的美好~
06-18 1543
最小二乘：也称为最小二乘法，英文 Least square method； 线性回归：英文Linear regression，有时也会用“线性模型”指代； 极大似然：
二分类问题输出一个节点还是两个节点
gt362ll的博客
10-07 7980
这两天在学pytorch的时候，看到是莫凡的pytorch教程，在二分类中用的是softmax，输出是[0,1],[1,0]这样的标签，而不是0,1标签，自己看了看torch的api函数改成了sigmoid激活函数可以用0,1标签输出一个节点了。 import torch from torch.autograd import Variable import torch.nn.functiona...
各种框架对变长rnn数据的处理
gt362ll的博客
11-02 5423
1. padding 文本数据在处理的时候，由于各样本的长度并不一样，有的句子长有的句子短。抛开动态图、静态图模型的差异，由于需要进行矩阵运算，句长需要是等长的才可以，这就需要padding操作。padding一般是用最长的句子长度为最大长度，然后其他样本补0到最大长度，这样样本就是等长的了。 但是注意padding后的样本如果不作处理只用普通的循环神经网络来做的话其实是有影响的，因为即使输入...
seq2seq+attention入门
gt362ll的博客
10-20 2859
前言 本来是要了解attention模型，因为我自己的毕设主要在做分类，借此机会了解一下attention模型，其实之前实习的时候有用过seq2seq模型，现在在博客中补上记录。 1. seq2seq 1.简介 seq2seq的介绍基本都是如下这张图，这种结构首先就是为了解决输出也是一个序列的问题。比如机器翻译，文本摘要等，它们输入的是一段序列，输出的同样也是序列，所以采用了这种encod...
attention详解
gt362ll的博客
11-01 2138
在seq2seq+attention入门里曾经提到一点attention，感觉这个东西很有意思，模型千变万化，也非常符合人类的思想，在这里详细介绍下attention 1. 定义 剥离开seq2seq模型，Google给了attention模型一个更加形式化的定义 attention是由query和一系列&lt;key,value&gt;对组成的，query依次与{key_1,key_2.....
机器学习基础：线性回归模型解析
线性回归是机器学习中最基础的算法之一，主要处理回归问题，即预测连续的数值型输出。它的核心思想是通过建立输入特征与输出目标之间的线性关系模型，以实现对未知数据的预测。在描述中提到，线性回归适用于那些因...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值