Andrew Ng机器学习笔记（二）：多变量线性回归

最新推荐文章于 2022-10-26 18:16:15 发布
最新推荐文章于 2022-10-26 18:16:15 发布
阅读量1k 收藏
点赞数
分类专栏： Machine Learning 文章标签： 机器学习 梯度下降法 算法 局部加权回归 logstic函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011253874/article/details/42426415
版权
本文介绍了多变量线性回归中的局部加权回归，探讨了欠拟合与过拟合的概念，并解释了如何通过特征选择和非参数学习算法来解决这些问题。局部加权回归强调在预测时只对样本附近的点进行拟合，而概率解释部分揭示了最小二乘法背后的高斯分布假设。此外，还简要提到了logistic函数在二元分类中的应用。
摘要由CSDN通过智能技术生成

对于一个监督学习模型来说，过小的特征集合使得模型过于简单，过大的特征集合使得模型过于复杂。

对于特征集过小的情况，称之为欠拟合（underfitting）；

对于特征集过大的情况，称之为过拟合（overfitting）

 

解决此类学习问题的方法：

1)       特征选择算法：一类自动化算法，在这类回归问题中选择用到的特征

2)       非参数学习算法：缓解对于选取特征的需求，引出局部加权回归

与上一节的差别在于：图片来源于：Stanford机器学习---第二讲. 多变量线性回归 Linear Regression with multiple variable


1、局部加权回归（大样本不适用）

对所需要预测的x附近进行预测，因此每次都要做一次拟合。

在线性回归的基础上加上权重，以下的权重函数并不是唯一的

假设权重符合分布规律：

就有了新的目标函数

最低0.47元/天 解锁文章
Eunice_33
关注
专栏目录
吴恩达机器学习学习笔记第五章：多变量线性回归
weixin_42415485的博客
08-08 687
1.Multiple features多特征 现在我们有多个特征了，比如还是预测房子价格X不仅仅是面积大小还有卧室数量，楼层数量以及房子的年龄     表达形式的记法： n=4即有4个特征（总面积 卧室数量 楼层数 房子年龄） m=47即有47个样本（47个房子） x^(i)表示第i（i不是次方而是对应训练集的索引）条样本对的特征 如x^(2)就是粉色的 这样表示他就是一个四维向...
机器学习之多变量线性回归（Linear Regression with multiple variables）
diaolun4894的博客
10-27 325
1. Multiple features（多维特征） 在机器学习之单变量线性回归（Linear Regression with One Variable）我们提到过的线性回归中，我们只有一个单一特征量（变量）——房屋面积x。我们希望使用这个特征量来预测房子的价格。我们的假设在下图中用蓝线划出： 不妨思考一下，如果我们不仅仅知道房屋面积（作为预测房屋价格的特征量（变量）），我们还知道卧室的...
机器学习之多变量线性回归
黑黑白白君的博客
03-05 326
#the hypothesis for linear regression with multiple features or with multiple variables（多元或多向量线性回归假设） #Gradient descent for multiple variables（多元梯度下降法） #多元梯度下降法演练 1、Feature Scaling（特征缩放）...
吴恩达机器学习笔记--第二周-2.多变量的线性回归
野心家-Andy的博客
04-12 779
week2-2.Multivarite Linear Regression一、Multiple Features多变量（multiple features/variable）的一些定义：改写后的假设：二、Gradient Descent for Multiple Variables将theta0、theta1······thetan看做一个n+1维的theta向量；将J看做theta向量的函数。只...
机器学习第二回总结——多变量线性回归
LovelyZhou的博客
07-23 388
一.多特征量情况下的假设形式 对图片上的知识点进行剖析：x与θ都是向量，将x0设为1，便可以用θ的转置与x向量的内积来简单表示h(x)——>多元线性回归 二.如何设定假设的参数【使用梯度下降法来处理多元线性回归】 将θ和J(θ)都看作向量 ...
多元线性回归的基础理解
热门推荐
kepengs的博客
11-19 5万+
多元线性回归  Multivarate Linear Regression Multiple Feature 前面我们学习了一元线性回归，也动手亲自从底层编写了梯度下降算法来实现一元线性回归。相信大家已经对梯度下降和线性回归有了很清晰的理解了。 现在，我们讨论线性回归的另一种更加强大的版本，那就是可以使用多个变量或者多个特征。 我们之前开发的线性回归仅能处理单一的特征x，也就是房子的面积...
Andrew Ng机器学习课程笔记--week2（多元线性回归&正规公式）
06-20
总结，Andrew Ng的机器学习课程中的多元线性回归和正规公式部分，不仅讲解了如何构建和优化多变量模型，还强调了特征工程的重要性，特别是特征缩放，以及在大规模数据集下选择合适的优化策略。理解这些概念对于理解...
机器学习：单变量线性回归及梯度下降
Hao_09的专栏
08-08 4641
**************************** 注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结很容易遗忘，根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检测、推荐系统及大规模机器学习等内容。
吴恩达机器学习python作业之单变量线性回归
最新发布
Ariya1234的博客
10-26 449
吴恩达机器学习作业之单变量线性回归。不定时更新或补充之前博客的笔记
论文研究-一种基于CNN模型多元时间序列分类结构 .pdf
08-16
一种基于CNN模型多元时间序列分类结构，佘强，李静林，多元时间序列分类问题是时间序列挖掘领域中的重要问题，目前的常规做法是使用基于欧氏距离或 DTW 距离的K近邻分类模型，或基于统计
多因子权重优化方法比较
Ricequant的博客
12-14 7940
多因子权重优化方法比较  在多因子量化投资体系中，具有稳定的预期收益，可解释的经济驱动理论，与其他因子的低相关性是选择alpha因子的关键指标。本篇文章中，我们以此为因子选取标准，简单地构建了自己的因子库，总共包括八个大类因子，每个大类因子中包含四到五个子类细分因子。为了比较不同的权重优化方法的优劣，本文首先采取不同的方法对各个大类因子下的细分因子进行合成，确定了不同大类因子的各自最优的合
吴恩达机器学习总结三：多变量线性回归
LiPan的博客
08-01 1631
第五章 多变量线性回归 6、多变量回归方程 矩阵形式： 7、多变量梯度下降法： 这里i表示第i种拟合曲线，因为对一个数据模型进行拟合时我们有很多种曲线作为备选方案，我们一直在做的就是找出其中与真实情况误差最小的曲线。所以先要指定某条拟合曲线，再由此确定它的参数，进而判断是不是最优的，这里的i就指假设拟合的是第i条曲线。下角标j表示拟合曲线的第j个属性，因为这里是多变量拟合，比如...
机器学习----分布问题（二元，多元变量分布，Beta，Dir）
zdy0_2004的专栏
05-07 1994
机器学习----分布问题（二元，多元变量分布，Beta，Dir）       这涉及到数学的概率问题。       二元变量分布：          伯努利分布，就是0-1分布(比如一次抛硬币，正面朝上概率)          那么一次抛硬币的概率分布如下：                假设训练数据如下：                  那么根据最大似然估计（MLE）,我们
机器学习模型相关评价指标最全总结
tox33的博客
07-21 9850
机器学习模型评价指标总结 1. 混淆矩阵（Confusion Matrix） （以下先考虑二分类问题） 其中：  TP（实际为正预测为正），FP（实际为负但预测为正） TN（实际为负预测为负），FN（实际为正但预测为负） 2. 基于混淆矩阵的相关评价指标   A．召回率：Recall = TP / (TP+FN)   （又称查全率，反映预测对的正例数占真正的正例数的比率）   ...
机器学习——多变量线性回归
C_teacher的博客
05-21 612
在上一篇文章我们提到过的线性回归中，我们只有一个单一特征量（变量）——房屋面积x。我们希望使用这个特征量来预测房子的价格。 不妨思考一下，如果我们不仅仅知道房屋面积（作为预测房屋价格的特征量（变量）），我们还知道卧室的数量、楼层的数量以及房屋的使用年限，那么这就给了我们更多可以用来预测房屋价格的信息。 因此，模型发生了变化： 损失函数改变如下： 我们依然用梯度下降法来获取损失函数的最小值 画出损失函数关于θ0与θ1的图形 Jθ (x) – 损失函数 特征缩放（归一化） 左图的梯度下降算法直接走向最
机器学习之线性回归（Linear Regression）
July_sun的博客
11-18 3万+
线性学习中最基础的回归之一，下面从线性回归的数学假设，公式推导，模型算法以及实际代码运行几方面对这一回归进行全面的剖析~
机器学习（四）——多变量回归
ML_amateur的博客
11-19 6015
多功能 之前探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征，构成一个含有多个变量的模型，模型中的特征为（x1,x2,…,xn）。 符号定义： n代表特征的数量 x表示输入变量（或者特征）， y表示输出变量（预测的目标变量）， x^(i)表示第 i个训练实例，是特征矩阵中的第i行，是一个向量（vector）。 xj^(i)代表特征矩阵中第 i行的第 j个特征，也就是第 i个训练...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值