吴恩达机器学习笔记之用正规方程法直接求得theta的值

最新推荐文章于 2024-10-13 17:50:27 发布
最新推荐文章于 2024-10-13 17:50:27 发布
阅读量366 收藏 2
点赞数 11
文章标签： 机器学习 笔记 人工智能 matlab
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46323292/article/details/136938130
版权

今天中午在那里试着退推了一下正规方程法，这个方法的道理也很简单就和高中学导数的时候一样，由于梯度下降法就是想办法下降到最低点，正规方程法就是直接令导数为0然后直接求θ，下面会展示我的推导过程以及代码实现结果以供参考

\frac{\partial J\left ( \theta \right )}{\partial \theta }\doteq x'*(x*\theta-y)=0先确定这个式子值为零然后对式子进行调整把θ提取出来下面就写出我的转化过程

x'*x*\theta =x'*y

\theta =(x'*x)^{-1}*x'*y=x^{-1}*x'^{-1}*x'*y=x^{-1}*y

（x'表示矩阵x的转置矩阵）

接下来就给兄弟姐妹们代码实现一下

load ex1data2.txt         %老样子先把咱数据取出来，并设定x和y
x=[ones(47,1),ex1data2(:,1:2)]
y=ex1data2(:,3)
theta=zeros(3,1)
theta=pinv(x)*y                 %pinv(x)就是求x的伪逆矩阵，不建议用inv，因为inv求逆矩阵但是x不一定存在逆矩阵
scatter3(x(:,2),x(:,3),y)       %把散点图画出来一会儿看一下拟合的怎么样
hold on
plot3(x(:,2),x(:,3),x*theta)    %下面就来看看运行结果
hold off

分别从三个面和整体看，效果还行哈

至于为什么拟合出来不是一条直线兄弟姐妹们可以参考一下我另一篇博客，那里面有对应的说明也有需要的数据

吴恩达机器学习实践笔记，第四章的多元梯度下降的实现-CSDN博客

哈哈哈到这就告一段落咯😁，这就是用正规方程法求得theta的过程了，可能还有不足之处希望大家可以帮忙指正一下呀😘

哥布林～
关注
学习笔记：机器学习--1.4正规方程求解\(\theta\)值
N33MO的博客
07-16 1256
这是机器学习的第一章第四节：通过Normal Equation(正规方程)求解\(\theta\)在学习本节过程中，仍将提及到高等数学中矩阵的相关内容通过这一节的学习将会了解另一种计算\(\theta\)值的方法，即Normal Equation。在上一节中，我们学习了Gradient descent方法循环求解\(\theta\)值，通过每一次循环逐渐逼近\(\theta\)值的最优解...
2016-02-17机器学习笔记
u011349982的博客
02-17 295
线性回归模型： 通常假设偏差属于高斯分布，这就使得预测值Y属于均值依赖输入和线性模型参数的高斯分布； （大多数应用场景满足偏差属于高斯分布假设） logistic回归模型： 预测值只有0,1，属于伯努利分布，这就使得预测值的概率分布为P(Y)=Q； 根据两者都属于指数分布族的特例，导出概率Q和输入的依赖关系，才会产生Logistic函数形式的假设模型； 线性回归模型和L
机器学习第三周（正规方程——一步求参）
PL_hfc的博客
06-10 202
很显然，这是一个多元线性回归的问题，因为此时我们有四个特征量，根据我们之前介绍的多元线性回归，我们将参数和特征都表示成了向量的形式，同时，为了更好地表达我们的假设函数，我们在数据集中还添加了一列。，其中的元素会对应着每一个参数的最优值，即此时的参数会最小化代价函数，这一点在数学上已经被严格证明，当然，大家也可以自己在纸上证明一下。，直到梯度下降收敛到最小值。是以向量的形式存在的，即我们不只有一个参数，那么，我们如何将微积分的方法推广到多个参数的情况呢？之前我们介绍了多元线性回归，其中，我们的参数。
机器学习笔记（4）-------正规方程理解和推导
liuhehe123的博客
08-04 1210
梯度下降算法有助于解决很多线性问题，补过对于一些线性回归问题，正规方程方法有更好的解决办法。 如： 类似于我们以前常用的一元二次函数，对函数求导J'，然后J'=0求出最小点，即可得到最小值。 正规方程是通过求解下面的方程来找出使得代价函数最小的参数的： 关键是利用正规方程解出向量 ： 个人进行了推导。 首先用到了以下公式：                             ...
正规方程求解特征参数的推导过程
热门推荐
chenlin41204050的博客
10-12 1万+
多变量线性回归代价函数为： 其中： 正规方程是通过求解下面的方程来找出使得代价函数最小的参数： 设有m个训练实例，每个实例有n个特征，则训练实例集为： 其中表示第i个实例第j个特征。 特征参数为： 输出变量为： 故代价函数为： 进行求导，等价于如下的形式： 其中第一项： 第二项： 该矩阵求导为分母布局下的标量/向量形式： 故有...
吴恩达机器学习笔记（二）（多变量特征缩放，特征选择，正规方程）
weixin_41930421的博客
01-16 797
当出现变量之间范围相差较大时，可以将其特征缩放标准化后，使梯度下降法的速度提高。 下图可以看到，选择1,X,X2,X3来表示一组特征，但是每一次特征里的应当所代表的取值范围都成平方立方次扩大状态。 这里给出以三角多项式为特征和以上面的X的几次方为特征进行非线性拟合的matlab程序 clear n=50;N=1000;x=linspace(-3,3,n)'; X=linspace(-3,3,N...
吴恩达机器学习笔记（四）多变量线性回归
qq_35175666的博客
11-22 645
吴恩达机器学习笔记（四）多变量线性回归一、多维特征（Multiple Features）二、多元梯度下降法三、多元梯度下降法实操——特征缩放(Feature Scaling)四、多元梯度下降法实操——学习率（Learning Rate） 一、多维特征（Multiple Features） 之前讲过的房价预测问题是单一特征的，现在赋予其更多的特征，如下图： 多元线性回归模型： 二、多元梯度下降...
吴恩达机器学习笔记-决策边界
不知名的梁某的博客
04-10 1900
决策边界 决策边界就是一个能正确区分正例和负例之间的边界，那么它是怎么计算出来的呢？ 在逻辑回归中，我们预测： 当h_θ (x)>=0.5时，预测 y=1。 当h_θ (x)<0.5时，预测 y=0 。 根据上面绘制出的 S 形函数图像，我们知道当 z=0 时 g(z)=0.5 z>0 时 g(z)>0.5 z<0 时 g(z)<0.5 又 z=θ^T x ，...
吴恩达 机器学习课程笔记（四）多元线性回归
qq_33735228的博客
09-09 428
文章目录多特征实例--房价预测案例拓展 多特征实例–房价预测案例拓展 我们除了知道房子的大小和房价外，还收集到了房间数，楼层，房子的年龄等信息，这使得我们可以利用更多的信息来预测房价。 其中，mmm表示样本数量，nnn表示特征数量，x(i)x^{(i)}x(i)表示第iii个样本的输入，xj(i)x^{(i)}_jxj(i)​表示第iii个训练样本的第jjj个特征。 ...
Machine Learning - Coursera 吴恩达机器学习教程 Week3 学习笔记
zhang35的博客
02-03 999
分类问题 例如对肿瘤的分类问题： 0：良性 1：恶性 二元分类问题（binary classification problem）只需要两个结果：0和1。有时候也用-和+表示，所以y(i) 也被称为标签。 逻辑回归 一些术语： asymptotes 渐近线 使用sigmoid函数g(z)将线性函数h(x)的值域映射到(0, 1)， g(z)的函数图： 新的h(x)就表示结果为1的概率。 例如肿瘤分类的例子，假如hθ (x) = 0.7，就表示输出结果为1，即肿瘤为恶性的概率为70%。 相应的，输出结果为0
正规方程法求西塔
woahxy的博客
05-19 361
用正规方程法求西塔不用进行特征缩放，若用梯度下降法则需要进行特征缩放。 梯度下降法（左边）和正规方程法（右边）的优缺点及选择要领： 1.梯度下降法需要选择学习因子a，需要进过很多次迭代，而正规方程法不需要学习因子a以及不需要进行多次迭代，一般来说正规方程法的速度要比梯度下降法要快。 2.当特征向量n很大时，正规方程法会较慢，此时应该选择梯度下降法。当n较小时，可以选择正规方程法获得一个快的收敛速度。 ...
机器学习入门--正规方程（含推导过程）
张*#的博客
02-15 1536
一、含义[1] 正规方程是通过求解代价函数的导数，导数为0来求得theta的值。 二、推导 上面第一个等式是线性回归的代价函数，写成向量化的形式即为第二个等式，向量的转置乘以该向量的含义是求向量中各元素的平方和，即XT * X = x12+x22+…+xn2 对代价函数求导[3]： 令导数为0时即为theta最小值 三、表现[1] 注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时...
机器学习012_正规方程（区别于迭代方法的直接解法）
AB_jingjing的博客
08-08 373
1、概要 这里我们将学习正规方程，对于某些线性回归问题，它可以给我们更好的方法来得到求得参数theta的最优值。 2、简单对比梯度下降法和正规方程 梯度下降法是通过迭代的方法，逐渐收敛到代价函数的最小值处即全局最优解处，来获得参数theta的最优解。 而正规方程是一个可以解析theta的方法，即可以一步直接得到theta的最优解。 3、对正规方程的直观感受 举例：一个简单的代价函数如右图 如何求得这个代价函数的最小值解？即求导或者求偏导，解出J最小值时的theta值即为所求。 使用正规方程求解参数th
正规方程法
weixin_44320429的博客
01-12 606
正规方程提供了一种求$\theta$的解析解法，不再需要运行迭代算法，而是可以直接一次性的求解$\theta$的最优解。
机器学习--吴恩达（线性回归，梯度下降，正规方程法）
wait_ButterFly的博客
01-16 2818
本节课是对监督学习的讲解，ng以自动驾驶为例，告诉我们汽车对方向的预测是连续值，故而是回归问题。 什么是回归问题？（regression） 确定两种或两种以上变量相互依赖的定量关系的一种统计分析方法 回归与分类问题的不同 回归与分类都属于预测问题，而回归预测的结果是连续的值，而分类的结果是离散的值。回归问题的要求就是：给定一个模式，根据训练集推断它所对应的输出的y值是多少。也就是使用y
TY1801 内置GaN电源芯片（18w-65w)
QQ_2169636881的博客
10-10 777
TY1801 是一款内置氮化镓18W-65W开关电源芯片，用于离线交流/直流转换应用，包括手机充电器和适配器等。TY1801A 18W；TY1801B 20W；TY1801C 25W；TY1801D 30W；TY1801DH 30W；TY1801E 35W；TY1801F 40W；TY1801G 45W；TY1801H 65W；
机器学习中的熵（Entropy）是什么？
libertea的专栏
10-10 1075
熵作为信息论中的核心概念，衡量了系统的不确定性。通过从自信息量推导出的熵公式，我们能够量化一个系统中信息的平均量。在机器学习中，熵广泛用于决策树构造和其他分类任务中，以帮助衡量数据集的纯度或不确定性。
机器学习与神经网络：开启物理学的新篇章
zhaoshanshan168的博客
10-10 1147
此次诺贝尔物理学奖的颁发，标志着机器学习与神经网络在物理学乃至科学研究中的地位逐渐提升。随着技术的不断进步，我们有理由相信，未来的人工智能将为人类带来更多的科学突破。
机器学习——解释性AI
最新发布
hong161688的博客
10-13 792
解释性AI（XAI）是一种人工智能技术，旨在提高ML模型和AI系统决策的解释和可解释性。XAI通过揭示AI系统背后的推理、决策和预测过程，以及解释其结果和行为，使人们能够理解、相信和信任AI系统的行为。传统的机器学习算法（如决策树、逻辑回归等）通常可以提供一定程度的解释性，因为它们的决策过程相对简单和可理解。然而，随着深度学习和神经网络的兴起，由于其复杂的结构和黑盒性质，这些模型往往难以解释，即人们难以理解它们如何进行决策和预测。XAI的目标是开发出一系列技术和方法，以提供对黑盒模型的解释能力。
吴恩达机器学习笔记：斯坦福大学2014年机器学习课程学习笔记
吴恩达机器学习个人笔记完整版 吴恩达机器学习个人笔记完整版是根据斯坦福大学2014年机器学习课程视频所做的笔记，主要记录吴恩达老师上课时的重点。该笔记对机器学习的基本概念、模型、算法和应用进行了详细的介绍...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值