【机器学习】吴恩达课程2-单变量线性回归

最新推荐文章于 2024-06-13 19:02:31 发布
最新推荐文章于 2024-06-13 19:02:31 发布
阅读量306 收藏
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习 线性回归 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_62403234/article/details/131739551
版权

一、单变量线性回归

 1. 模型描述

监督学习的流程 & 单变量线性回归函数

代价函数：J(\theta_{0},\theta_{1})=\frac{1}{2m}\sum_{i=1}^{n}(h(x^{(i)})-y^{(i)})^{2}，其中 m 表示训练样本的数量

公式为预测值与实际值的差，平方为最小二乘法和最佳平方/函数逼近。

目标：最小化代价函数，即minimize J(\theta_{0},\theta_{1})

2. 只考虑一个参数 \theta_{1}

为方便分析，先取\theta_{0}为0并改变\theta_{1}的值

在这里插入图片描述

 3. 参数 \theta_{0}\theta_{1} 都考虑

在这里插入图片描述

 将三维图平面化：等高线的中心对应最小的代价函数

在这里插入图片描述

二、梯度下降

1. 算法思路

  • 指定 \theta_{0}  和 \theta_{1} 的初始值
  • 不断改变 \theta_{0} 和 \theta_{1} 的值，使 J(\theta_{0},\theta_{1}) 不断减小
  • 得到一个最小值或局部最小值时停止

2. 梯度

函数中某一点(x, y)的梯度代表函数在该点变化最快的方向（选用不同的点开始可能达到另一个局部最小值）

在这里插入图片描述

\theta _{j}:= \theta _{j}-\alpha \frac{dJ(\theta _{i},\theta _{j})}{d\theta _{j}}

关于α：选择太小，会导致每次移动的步幅都很小，最终需要很多步才能最终收敛；
             选择太大，会导致每次移动的步幅过大，可能会越过最小值，无法收敛甚至会发散；

实现原理：偏导表示的是斜率，斜率在最低点左边为负，最低点右边为正。\theta _{j} 减去一个负数则向右移动，减去一个正数则向左移动。在移动过程中，偏导值会不断变小，进而移动的步幅也不断变小，最后不断收敛直到到达最低点。在最低点处偏导值为0，不再移动。

2.3 线性回归的梯度下降 / Batch梯度下降

最小化线性回归中的平方损失函数。

 同时更新：

提示：

凸函数（convex function）：只要一个全局最优

批量梯度下降：每次梯度下降使用所有的训练样本

禾风wyh
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
二： 单变量线性回归
dandanli_1的专栏
08-10 210
符号： m : 训练样本数 x : 输入变量/特征 y : 输出变量/目标变量 (x(i), y(i)) : 样本 h ： 假设函数 n ： 特征数 学习流： h可接受新输入x，计算出输出y； EG：房屋价格预测 样本数据：N条房价数据，包括房屋面积，卧室数量，房屋价格 Step1：确立假设 Step2: 问题转化 ...
吴恩达机器学习课程笔记（二）单变量线性回归
Kuroyukineko的博客
04-30 515
*个人学习笔记一、基础定义1.1 数据集符号定义m: 样本数量(x, y): 训练样例(x(i), y(i)): 第i个训练样例（i ≥ 1）1.2 假设函数使用某种学习算法对训练集进行训练，我们可以得到假设函数（Hypothesis）。在房价问题中，确定了假设函数，我们就可以根据平方数面积预测房价了。我们使用如下的形式表示假设函数：hθ(x)=θ0+θ1使得假设函数的曲线尽量与数据拟合。三、模...
之杰的机器学习笔记：2.单变量线性回归
郑之杰的博客
07-27 236
现在我们开始讨论监督学习中的回归问题，这里我们从最简单的例子开始。 我们不妨可以思考一个非常理想化的问题：假设有一棵小树苗，当我们给它浇水时它会生长，如果营养足够可以认为浇水量x和树苗的高度h服从一定的线性关系。也就是说，如果我们浇水x升树苗会长高θx米，那么浇水2x升的话树苗就会长高2θx米...这听上去非常理想，事实上树苗的生长仍受到自然环境的影响。 上述问题的简单之处主要体现在两点：...
机器学习——单变量线性回归
vergilben的学习日记
06-08 545
Linear regression with one variable 本文主要介绍单变量线性回归的解决方法以及方法的思想。 综述 以预测房价为例，我们要进行如下步骤： 简单来说，我们把数据集（训练集）在二维平面上标记出来，尝试用一条直线去拟合数据并尽量拟合的好，那么我们预测房价时，只需输入x（某一特征，比如面积），就可根据那条直线得出预测的房价（y）。比如： 假设上面图中那条黑线就是拟合最好的直...
机器学习第二章 单变量线性回归
m0_63951116的博客
05-28 364
文章目录第二章 单变量线性回归（Univariate Linear Regression）1 模型表示（model representation）2 代价函数（cost function）3 梯度下降（gradient decent）4 梯度下降与代价函数相结合梯度下降弊端凸函数（convex function）后言 第二章 单变量线性回归（Univariate Linear Regression） 1 模型表示（model repre.
吴恩达老师机器学习课程笔记 02 单变量线性回归
124974的博客
07-27 263
机器学习起源于AI，通俗来说就是让机器自己学习，目的是为了使得机器更加智能。目前机器学习已经有了非常广泛的应用。机器学习的一种较为正式的定义是一个程序从经验E中学习，解决任务T。用P进行性能度量，通过P测定，程序在解决任务T上表现因经验E而提高。比如对于阿尔法Go，经验E就是程序多次自我练习的经验，任务T就是下棋，性能度量P就是它在与新对手下棋时赢的概率。机器学习的一种定义是一个程序从经验E中学习，解决任务T，用P进行性能度量。通过P测定，程序在解决任务T上表现因经验E而提高。...
【吴恩达机器学习】第二章 单变量线性回归
flora
11-21 234
模型描述 我们知道机器学习可以分为监督学习和无监督学习，简单来讲监督学习就是每个样本都有正确的答案，而无监督学习没有。 监督学习又包括了回归问题和分类问题，回归问题就是预测一个具体数值的输出，分类问题就是预测离散值的输出 线性回归解决的是最小化问题，接下来我们要学的代价函数和梯度下降函数就为我们提供的是我们要最小化什么以及如何最小化。 代价函数 cost function 线性回归是要预测一个具...
机器学习——单变量线性回归.pdf
03-27
本人通过观看吴恩达机器学习视频所记录的笔记，比较潦草，有兴趣的可以看一看。 知识点概要： 1、假设函数 2、代价函数 3、梯度下降法 4、如何选择学习率 5、关于线性回归的梯度下降
资源分享 - 吴恩达机器学习 - 课程讲义
07-12
内容概要：通过吴恩达机器学习网课配合课程讲义，可以有效理解吴恩达教授所讲内容，并完成课堂笔记，对机器学习有更深刻的理解。 适合人群：机器学习小白，刚开始接触机器学习的人 能学到什么：①监督学习与无监督...
机器学习——多变量线性回归.pdf
03-28
本人通过观看吴恩达机器学习视频所记录的笔记，比较潦草，有兴趣的可以看一看。 知识点概要： 1、多元梯度下降法 2、特征与多项式回归 3、正规方程 4、正规方程在矩阵不可逆的情况下的解法 5、编程技巧
吴恩达老师《机器学习》课后习题1之线性回归
06-14
单变量线性回归、多变量线性回归、正规方程以及所需数据集
吴恩达机器学习多元线性回归作业python实现
07-16
吴恩达机器学习多元线性回归作业python实现
对于机器学习的回答
麦当当的博客
06-13 1216
机器学习（Machine Learning）是人工智能（AI）的一个子领域，它使计算机系统能够从数据中自动学习和改进，而无需明确编程。机器学习利用统计学和计算技术，构建能够识别数据中的模式并进行预测的算法和模型。机器学习是指通过构建和训练模型，使计算机能够从数据中学习并做出决策和预测的过程。其核心在于使用数据驱动的方法，让机器在没有显式编程指令的情况下提高性能。
机器学习的分类
wt334502157的博客
06-13 718
机器学习是人工智能的一个分支，它使计算机系统能够从数据中学习并做出决策或预测。机器学习（Machine Learning）是一种基于数据驱动的方法，旨在通过自动化的统计模型和算法从数据中学习和提取模式，以进行预测、分类和决策。其核心思想是通过训练数据构建模型，使其在面对新数据时能够准确进行预测和分类。
GaN VCSEL：改进生产工艺
qq_28126171的博客
06-12 444
由于该团队的VCSEL设计采用了4l腔结构，两个氧化物层的厚度仅为0.3l，因此由这对氧化物层引起的实际厚度偏差相对较小，约为GaN基3.7l腔的一半。在壁插效率方面，直径为5mm的设计展现出了令人瞩目的性能，效率峰值高达21.3%，在驱动电流为8.44mA的条件下，产生的输出功率接近10mW。上图展示了该团队研发的VCSEL产品中的5纳米高台面设计，它如同精密的光学舞台，确保横向电流和光学限制得以完美实现，为未来的光学通信和显示技术开辟了崭新的道路。
一文入门机器学习
桔子
06-10 801
这是一篇关于机器学习入门的指南，从基本概念到实际操作都有涵盖。文章介绍了机器学习的定义和应用场景，包括预测数据、识别分类、归纳聚类、异常检测和生成对抗网络。作者详细解释了机器学习的工作原理，包括数据准备、特征工程、模型选择、训练和评估等关键步骤。最后，通过一个简单的实操示例展示了如何使用逻辑回归模型对鸢尾花数据集进行分类，并介绍了保存和复用模型的方法。
【机器学习】简答
weixin_64881847的博客
06-13 974
对假设空间（样本所有可能性的集合）采用自顶向下或自底向上的方法搜索并不断删除与训练集正例不一致的假设，直至剩余的都是与训练集一致的假设。这些。
【机器学习】机器学习与教育科技在个性化教学中的融合应用与性能优化新探索
最新发布
Easonmax的博客
06-13 1541
机器学习是一种通过数据训练模型，并利用模型对新数据进行预测和决策的技术。其基本思想是让计算机通过样本数据学习规律，而不是通过明确的编程指令。根据学习的类型，机器学习可以分为监督学习、无监督学习和强化学习。教育科技（EdTech）是指将技术应用于教育服务和管理的创新。个性化教学系统是教育科技的重要应用之一，通过集成先进的技术和数据分析方法，个性化教学系统能够实现高效、准确的教学服务。
【机器学习基础】Python编程09：五个实用练习题的解析与总结
Obliviate的博客
06-09 1078
学习使⽤auto定义变量的⽤法这五个编程练习题涵盖了全局变量、局部变量、静态变量、矩阵操作和循环求和等基础编程概念。通过这些练习，我们学习了变量的作用域、类和静态方法的使用、矩阵的创建和操作，以及基本的循环和累加技巧。全局变量和静态变量允许我们在不同函数或方法调用间保持状态，而局部变量则展示了如何在函数内部创建临时存储。矩阵操作问题让我们学习了如何使用循环和列表来处理多维数据结构。循环求和问题则展示了如何使用循环来累计结果。
吴恩达机器学习作业线性回归
09-09
吴恩达的机器学习课程中的作业中有一个关于线性回归的部分。在这个作业中，你将实现一个线性回归模型来预测房屋的价格。具体而言，你需要完成以下几个任务： 1. 设计一个代价函数，用于衡量预测值和实际值之间的误差...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值