算法笔记1——线性回归

最新推荐文章于 2024-08-11 02:00:50 发布
最新推荐文章于 2024-08-11 02:00:50 发布
阅读量448 收藏 10
点赞数 1
分类专栏： 机器学习算法 文章标签： 机器学习 线性回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IOT_victor/article/details/82960820
版权

目录

 

1 吴恩达机器学习之线性回归

1.1单变量线性回归（Linear Regression with One Variable）

1.2多变量线性回归（Linear Regression with Multiple Variables）

1.3正则化线性回归

1 吴恩达机器学习之线性回归

1.1单变量线性回归（Linear Regression with One Variable）

假设函数（ ℎ?(?)=?0+?1?）中只含有一个特征/输入变量，称此问题为单变量线性回归问题。

方法：梯度下降的线性回归（Gradient Descent For LinearRegression）

将梯度下降和代价函数结合，应用于具体的拟合直线的线性回归算法之中。

目标：同时更新theta0、theta1，使得损失函数最小

①求代价函数的导数

 

 

②求theta

关键：同步更新theta0和theta1

1.2多变量线性回归（Linear Regression with Multiple Variables）

一、模型概述

①假设函数

 

②代价函数

③批量梯度下降算法如下

寻找一组使代价函数最小的参数值theta

④随机选择一系列参数值，计算预测结果，再给所有参数新值，如此循环迭代直到收敛

二、其他补充

（1）特征缩放（Feature Scaling）：为了让梯度下降能够运行得更快一点，使收敛得更快，迭代次数少一点。

（2）多项式回归

 

三、正规方程法

注：对于不可逆的矩阵（通常是因为特征之间不独立：eg同时包含英尺为单位和米为单位的尺寸，也有可能特征数量大于训练集数量），正规方程法不能使用。

附：公式推导如下

求偏导需用到两个矩阵求导法则

\frac{\mathrm{dAB} }{\mathrm{d} B}=A^{T}

\frac{\mathrm{d} {X^{T}}AX}{\mathrm{d} X}=2AX

 

对代价函数求偏导

四、梯度下降与正规方程的比较

（1）梯度下降法必须使用特征缩放，正规方程法不用使用

（2）正规方程法在线性回归中是比梯度下降法更快的代替方法，但是在更复杂的模型中可能不能用，所以梯度下降法依旧重要

1.3正则化线性回归

①正则化线性回归的代价函数

 

 

 

 

NLP_victor
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
线性回归算法梳理----学习笔记
EMCXu的博客
03-29 227
1. 机器学习的一些概念 2. 线性回归的原理 3. 线性回归损失函数、代价函数、目标函数 4. 优化方法(梯度下降法、牛顿法、拟牛顿法等) 5. 线性回归的评估指标 6. sklearn参数详解 1.机器学习的一些概念 有监督：对已知结果集的数据集进行学习，结果集对训练有指导意义。如：线性回归、决策树等 。 无监督：对未知结果集的数据集进行学习。如：kmeans、dbscan等...
线性回归算法（机器学习笔记）
ttxs2016的博客
04-21 250
1单变量线性回归 1定义 假设：hθ(x)=θ0+θ1x{假设：h_\theta }\left( x \right) = {\theta _0} + {\theta _1}x假设：hθ​(x)=θ0​+θ1​x 代价函数：J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2代价函数：J\left( {{\theta _0},{\theta _1}} \right) = {1 \ove...
机器学习经典算法笔记——线性回归
薛定谔的Hello Kitty
10-03 158
最小二乘法 这里的目标是找出a,b，使得下面J的尽可能小： J(a,b)=∑i=0m(yi−axi−b)2 J(a,b) = \sum_{i=0}^m (y^i - ax^i -b)^2 J(a,b)=i=0∑m​(yi−axi−b)2 即对a,b分别进行求导=0，得到以下的结果： b=y‾−ax‾ b = \overline{y} - a\overline{x} b=y​−ax a=∑i=1...
【机器学习算法笔记系列】线性回归算法详解和实战
Mr_Robert的博客
03-27 1345
线性回归算法 算法概述 在统计学中，线性回归(Linear Regression) 是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是由一个或多个称为回归系数的模型参数的线性组合而成。 回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量...
Task 1 - 线性回归算法梳理（学习整理笔记）
Aeroaz的博客
08-07 193
1、概念 机器学习中比较活跃的四大应用领域：数据挖掘、计算机视觉、自然语言处理、机器人决策 机器学习的两大基本问题：回归问题、分类问题 机器学习模型：f features label 样本 数据集 2、有监督学习（supervised learning） 把训练和分类的结果一并丢给计算机分析。 计算机进行学习之后，再丢给它新的未知的数据，它也能计算出该数据导致各种结果的概率，给你一个最接近正确的结...
回归分析---线性回归原理和Python实现学习笔记
热门推荐
机器学习、数据挖掘
04-28 2万+
为什么要学习回归？机器学习实战作者说‘回归可以任何事情’。 1 线性回归原理 假设有如下方程，就是一个回归方程，系数wi为回归系数，求回归系数的过程被称为回归 线性回归意味着可以将输入项分别乘以一些常量，再将结果加起来得到输出，那么怎样求回归系数呢？ 至此线性回归推到已完成，接下来介绍线性回归的实现步骤 2 线性回归Python实现 ————————————————...
机器学习十大经典算法之线性回归（学习笔记整理）
weixin_43374551的博客
10-31 3754
一、一元线性回归 一元线性回归模型也称为简单线性回归模型，模型中只含有一个自变量，数学表达式y=a+bx+εy=a+bx+\varepsilony=a+bx+ε其中a、b为回归系数，ε\varepsilonε为模型的误差项。要得到理想的拟合线，则要使误差ε\varepsilonε总体上最小，于是转换成了误差平方和最小的问题，此方法就是“最小二乘法”。 推导过程： \begin{align} J(a...
【NLP机器学习基础】从线性回归和Logistic回归开始
hacker_long的专栏
02-10 1354
古语常云：“大道至简”，万事万物纷繁复杂，最终却归至几个最简单的道理。我常常在想，如今很火的AI领域是否也是如此。将AI真正学懂学会的过程就像一场遥不可及的漫长攀登，起始于晦涩难懂的数学...
AI学习笔记--skLearn--KMeans聚类
sephyioth的专栏
04-17 6014
Scikit-learn(sklearn)的定位是通用机器学习库，而TensorFlow(tf)的定位主要是深度学习库。一个显而易见的不同：tf并未提供sklearn那种强大的特征工程，如维度压缩、特征选择等。究其根本，我认为是因为机器学习模型的两种不同的处理数据的方式： 传统机器学习：利用特征工程(feature engineering)，人为对数据进行提炼...
机器学习用python还是R，哪个更好？
yang_xs的博客
08-07 712
今天是跟大家讨论机器学习用python还是R，哪个更好？在选择使用 Python 还是 R 进行机器学习开发，是我们一个经常讨论的话题，每种语言都有其独特的优势和适用场景。让我们来总结一下使用 Python 或 R 进行机器学习开发时的各自优势和特点，帮助你更好地选择适合自己需求的工具。
Stable Diffssion超详细讲解持续更新中
weixin_43576024的博客
08-08 586
在训练过程中，模型会对每张图像添加不同强度的噪声。噪声的强度用一个时间步 ttt来表示，ttt的范围通常是从 0 到 1000，共有 1001 种不同的噪声强度。时间嵌入是将时间步 ttt转换为一个高维的向量表示，这个向量将被输入到模型中，告诉模型当前图像的噪声强度。如果是图生图任务，我们在输入文本信息的同时，还需要将原图片通过图像编码器（VAE Encoder）生成Latent Feature（隐空间特征）作为输入。完成对文本信息的编码后，就会输入到SD模型的“图像优化模块”中对图像的优化进行“控制”。
Machine-Learning 机器学习
2302_80644606的博客
08-08 1194
机器学习是人工智能的一个重要分支，旨在通过算法使计算机能够从数据中自动学习并做出预测。它结合了统计学、概率论、近似理论和复杂算法等多学科知识，利用计算机作为工具来模拟人类的学习方式。
吴恩达：如何系统学习机器学习？
分享Python、数据分析、人工智能前沿知识
08-07 333
最近在知乎圆桌里看到吴恩达的回答，【如何系统学习机器学习？】颇为惊喜，仿佛看到了知乎刚成立时的样子，请各个行业大佬来分享专业知识。而他不仅仅是斯坦福的老师，还是coursera创始人、谷歌大脑创始人、百度前首席科学家，在机器学习教育领域算传道士般的存在。吴恩达估计是很多人机器学习的入门领路人，他的cs229课程从斯坦福的校园火到全球，成为最经典的机器学习课程之一。该回答目前已经有三千多赞，评论区也相当火爆，一片膜拜之声。下面把这篇回答原文贴出来，供大家参考下。
机器学习——支持向量机（SVM）（1）
最新发布
CXDNW的博客
08-11 552
支持向量机（Support Vector Machine，SVM）属于有监督学习模型，主要 用于解决 数据分类问题。SVM将 每个样本数据 表示为 空间中的点，使 不同类别的样本点尽可能 明显地区分开。通过将样本的 向量映射到高维空间中，寻找 最优区分 两类数据的超平面，使 各分类到 超平面的距离最大化，距离越大 表示 SVM 的分类 误差越小。
【机器学习】ImageNet的基本概念以及如何使用ImageNet数据集
m0_49243785的博客
08-08 919
ImageNet是一个大规模的视觉数据库，旨在为研究人员和开发者提供一个丰富的资源，以促进计算机视觉领域的发展。该项目始于2007年，由斯坦福大学的教授李飞飞领导，并于2009年在计算机视觉与模式识别会议（CVPR）上发布。ImageNet根据WordNet的层级结构（目前仅限于名词）组织，其中每个层级节点都由成百上千张图像来描绘
【机器学习sklearn实战】计算偏差和方差
跟着大数据和AI去旅行
08-08 182
作为对比，下面是Bagging方法的偏差-方差，可以看出采用Bagging方法可以降低variance。可以很方便的计算Bias-Variance误差分解，下面是回归决策树方法的偏差-方差分解。
机器学习·L2W4-决策树
2301_80132162的博客
08-08 624
提升方法训练多棵树，但它们彼此之间不再互不相关，而是一棵树接一棵树地拟合，以最小化误差。XGBoost 的一个有趣之处在于，在拟合过程中，它可以采用形式为 (X_val,y_val) 的评估数据集。学习率是梯度下降法的步骤大小，XGBoost 在内部使用该方法来最小化每个训练步骤中的误差。随机森林的另一个超参数称为 n_estimators，它是组成随机森林的决策树的数量。请记住，对于随机森林，我们随机选择特征子集并随机选择训练示例子集来训练每棵树。由于每棵树的拟合彼此独立，因此可以并行拟合多棵树。
【Week-G7】Semi-Supervised GAN 实践，使用MNIST数据集
qq_40724911的博客
08-08 380
本次学习使用到的SGAN将GAN扩展到半监督学习方式，通过强制判别器D来输出类别标签。具体结构如下图： 输入数据集：N类中某一个 生成器G：输出第N+1个类 判别器D：充当分类器C的效果 训练时：判别器D被用于预测输入时属于N+1类中的哪一个SGAN可以用于训练效果更好的判别器D，并且比普通的GAN产生更加高质量的样本。 2.2 初始化权重 2.3 定义算法模型 2.4 配置模型 2.5 训练模型 2.6 训练结果 下载MNIST数据集： 训练过程： 训练输出的图像：
机器学习入门：吴恩达课程笔记——线性回归与梯度下降
总结来说，这篇笔记涵盖了机器学习入门中的关键概念——线性回归的假设函数、平方差代价函数以及梯度下降优化算法，这些都是构建和训练简单预测模型的基础。通过理解这些概念，我们可以开始解决类似房价预测这样的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值