机器学习（一续集）线性回归：正规方程求Ѳ（对比梯度下降）

最新推荐文章于 2021-09-04 08:08:00 发布
最新推荐文章于 2021-09-04 08:08:00 发布
阅读量475 收藏
点赞数
分类专栏： AI 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46718733/article/details/107042296
版权

在这里插入图片描述

def normalEqnation(X, y):
    theta = np.linalg.inv(X.T@X)@X.T@y#X.T@X等价于X.T.dot(X)
    return theta

对比

梯度下降（上一节有算法和代码）正规方程（见上面）
需要学习率不需要
需要迭代次数不需要
特征很大时很快特征很大时（大约大于10K）很慢
小智的草稿本
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习 线性回归
qq_43573040的博客
03-30 206
概述 分类和关联性 回归 回归是通过输入一系列影响事物某一属性的其他事物属性，而输出的这个事物属性的值的问题 非监督学习 发现数据中的规律（密度估计） 类学习 类学习就是寻找一个涵盖所有正例而不包括任何负例的描述 类的识别器的输入就是事情的属性。 确定假设类即规定范围,找出影响的参数，进行预测，会存在经验误差。 泛化问题 VC维 vc维是独立于数据实例的概率分布。 使用矩形作为假设类。 只需要找到...
机器学习笔记 -吴恩达（第六章：线性回归，numpy实现、scikit-learn实现，附源码）
tbb_1984的博客
11-20 2257
（1）数据描述 1，使用pandas读取数据，简化后续操作 import numpy as np import pandas as pd import matplotlib.pyplot as plt path =  'ex1data1.txt' data = pd.read_csv(path, header=None, names=['Population', 'Profit']) dat...
正规方程推导过程
guang_mang的博客
09-15 8673
那啥，之前笔记里这部分是略过的。这里整理一下吧。有兴趣的可以对照看看和你推倒的过程一样不。我们先回顾一下，我们定义观测结果y和预测结果y’之间的差别为Rss:设若参数的矩阵为,则那么按照我们的定义，这个Rss的意思是y和y’之间的差，那么当Rss无限趋近于0的时候，则y≈y’，即我们求得的预测结果就等于实际结果。于是，令Rss等于某一极小值，则对参数求导，得：展开，得进而就可以得到于是我们就得到正规
【吴恩达机器学习笔记】正规方程
关关的学习记录
10-20 526
前言 之前我们都在讨论梯度下降算法，但对于一些线性问题来说，正规方程是更好的解决方法。 一、正规方程 正规方程是通过求解下面的方程来找出使得代价函数最小的参数的： 假设我们的训练集特征矩阵为 ????（包含了 ????0 = 1）并且我们的训练集结果为向量 ????，则利用正规方程解出 向量 ???? = 推导过程分析： 前提我们要了解以下几个方程： 多变量线性回归问题的代价函数为： 其中对于单个样本的h(x)： 设有m个训练实例，每个实例有n个特征，则训练实例集为： 其中表示第
机器学习学习笔记（5）----测试最小二乘法
swordmanwk的专栏
05-13 843
上一篇文章中《机器学习学习笔记（4）----线性回归的数学解析》，求最优的w的方法是普通最小二乘法（Ordinary Least Squares，OLS），最小二乘法的python实现相对简单（ols.py）： import numpy as np class OLSLinearRegression: def _ols(self, X, y): '''最小二乘法''' tmp = np.linalg.inv(np.matmul(X.T, X))
numpy.linalg模块
热门推荐
森的博客
10-06 2万+
最近在看机器学习的 LogisticRegressor，BayesianLogisticRegressor算法，里面得到一阶导数矩阵g和二阶导数Hessian矩阵H的时候，用到了这个模块进行求解运算，记录一下。  numpy.linalg模块包含线性代数的函数。使用这个模块，可以计算逆矩阵、求特征值、解线性方程组以及求解行列式等。 import numpy as np # 1. 计算逆矩...
机器学习之线性回归--01
编程之路
04-11 530
线性学习中最基础的回归之一，本文从线性回归的数学假设，公式推导，模型算法以及实际代码运行几方面对这一回归进行全面的剖析~ 线性回归；准确地预测实值输出标记一：线性回归的数学假设1.假设输入的X和Y是线性关系，预测的y与X通过线性方程建立机器学习模型2.输入的Y和X之间满足方程Y=X+e,e是误差项，噪音项，假设e是独立同分布的，服从IID（independent and identity dist...
线性回归解析解
qq_45336930的博客
04-13 885
theta=np.linalg.inv(x.T.dot(x)).dot(x.T).dot(y) np.linalg.inv 求矩阵的逆矩阵 x.T求矩阵的转置矩阵 .dot()矩阵相乘 解析解的形式θ = （x逆矩乘x）矩乘x逆矩乘y
numpy线性代数np.linalg
千寻的博客
02-09 1万+
1.norm实现数据归一化  import numpy as np x=np.array([[0, 3, 4], [2, 6, 4]]) y=np.linalg.norm(x, axis=1, keepdims=True) z=x/y ord ： 为设置具体范数值， axis 向量的计算方向。 axis=1表示按行向量处理，求多个行向量的范数 axis=0表示按列向量处理，求多个列向...
numpy中的np.linalg.inv()
CSDNXXCQ的博客
02-15 3514
np.linalg.inv()：矩阵求逆
机器学习-线性回归-多元梯度下降法
kingsure001的博客
07-20 1873
目录标题线性回归多元线性回归正规方程 线性回归 我们的回归方程常写成如下形式： hθ(x)=θ0+θ1*X 代价函数：J(θ)=12∑i=1m(hθ(x(i)−y(i))2 看看代价函数到底是在干什么,如图 梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求代价函数最小 例如：想象一下你正站立在山的这一点上，站立在你想象的公园这座红色山上，在梯度下降算法中，我们要做的就是旋转 360 度，看看我们的周围，并问自己要在某个方向上，用小碎步尽快下山。这些小碎步需要朝什么方向？如果我们站在山坡上的
正规方程求最优解
spiderfu的博客
06-05 693
正规方程是除了梯度下降以外求最小值的其他方法 公式如下： 其中X为n*m维的矩阵，n为数据的维度，m为特征向量，y为最后的目标向量。下面为吴恩达老师的一个例子 当n<m时，需要减少特征，或者加入正则化项。 在数据量较少时，正规方程求解速度较快，以为只计算一次，不需要迭代； 当数据量较大时，虽然只进行一次计算，但由于计算复杂度较高，O（n³），速度就会不如梯度下降。 ...
玩不转scikit-learn（一）：LinearRegression
长屌少女
03-22 1157
为了能更好的掌握机器学习，自己边学习边自己写一写算法。为了验证自己算法实现的准确性，我会和scikit-learn的对应算法进行对比。恩，水平有限，尽力分析下为什么scikit-learn的对应算法会比自己实现的朴素算法好。希望可以对于算法本身和scikit-learn的实现有一定的深度理解。。希望吧代码用Python3在jupyter notebook(ipython notebook)上写的。代
机器学习中线性回归算法python实现
苟冬新
04-14 2902
线性回归算法python实现(单变量) 先来回顾一下相关公式： 1.正规方程 当 是不可逆时，称为奇异阵或退化阵，也称伪逆阵。 原因：  多余的功能(线性相关性)，一个特征是平方英尺，一个特征是平方米。  特征太多，删除一些特征, 或使用正则化 theta=np.linalg.inv(X.T.dot(X)).dot(X.T).dot(Y) 2.代价函数 J = (1.0/(2*m))*np...
python 线性回归源码
luoganttcc的博客
01-12 925
# -*- coding: utf-8 -*- """ Created on Fri Jan 12 17:21:11 2018 @author: Administrator """ # -*- coding: utf-8 -*- """ Created on Thu Jan 11 11:09:36 2018 @author: Administrator """ import pymongo
函数详解-Python Numpy学习(3)
bigzql的博客
09-04 1764
矩阵的用法Python Numpy学习（2）可能是最全的NumPy基础知识（1）1，np.ceil(x, y)　　限制元素范围，进一法，即向上取整。　　x 表示输入的数据 y floa...
吴恩达机器学习笔记-多变量线性回归(Linear Regression with Multiple Variables)
yangliu_w的博客
10-21 216
多维特征 前面我们探讨了单变量（特征）的回归模型，现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为。 我们记作：n代表特征的数量；代表特征矩阵中的第i行，即第i个特征实例。代表第i个特征实例中的第j个特征。因此支持多维特...
机器学习：python 实现一个linear regression
TigerTai98的博客
06-09 1万+
1.原理介绍linear regression步骤： 1.导入数据 2.将数据分为训练集合测试集 （linear regression 分为x_train, x_text, y_train, y_test） 3.导入线性回归算法 利用训练集计算出模型参数 4.模型检验 利用测试集测试真实值和预测值的差异 （用x_test计算出y_predict，与y_test做比较，计算误差） 5
正规方程
justThinker的博客
12-10 1万+
一，什么是正规方程 在前面我们学习了使用梯度下降法来计算参数最优解，其过程是对代价函数相对于每个参数求偏导数，通过迭代算法一步一步进行同步更新，直到收敛到全局最小值，从而得到最优参数值。而正规方程则是通过数学方法一次性求得最优解。 其主要思想是利用微积分的知识，我们知道对于一个简单的函数，我们可以对于其参数求导，并将其值置为0，这样就可以直接得到参数的值。就像就像下面这样： 但是现在的问
void USART1_IRQHandler(void) //Ԯࠚ1א׏ؾϱԌѲ { u8 Res; #if SYSTEM_SUPPORT_OS //ɧڻSYSTEM_SUPPORT_OSΪ֦ìղѨҪ֧ԖOS. OSIntEnter(); #endif if(USART_GetITStatus(USART1, USART_IT_RXNE) != RESET) //ޓ˕א׏(ޓ˕սք˽ߝҘѫˇ0x0d 0x0aޡβ) { Res =USART_ReceiveData(USART1); //ׁȡޓ˕սք˽ߝ if((USART_RX_STA&0x8000)==0)//ޓ˕δΪԉ { if(USART_RX_STA&0x4000)//ޓ˕ս‹0x0d { if(Res!=0x0a)USART_RX_STA=0;//ޓ˕խϳ,טтߪʼ else USART_RX_STA|=0x8000; //ޓ˕Ϊԉ‹ } else //۹û˕ս0X0D { if(Res==0x0d)USART_RX_STA|=0x4000; else { USART_RX_BUF[USART_RX_STA&0X3FFF]=Res ; USART_RX_STA++; if(USART_RX_STA>(USART_REC_LEN-1))USART_RX_STA=0;//ޓ˕˽ߝխϳ,טтߪʼޓ˕ } } } } #if SYSTEM_SUPPORT_OS //ɧڻSYSTEM_SUPPORT_OSΪ֦ìղѨҪ֧ԖOS. OSIntExit(); #endif } #endif 、
最新发布
07-09
这是一个名为USART1_IRQHandler的函数，用于处理串口1的中断事件。 函数内部首先定义了一个无符号8位整型变量Res。 接下来使用条件判断语句if来判断是否接收到了串口1的接收中断（USART_IT_RXNE不为RESET）。如果...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值