[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(2)--最简单的线性回归

已于 2022-03-12 16:51:12 修改
阅读量238 收藏 2
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习 学习 线性回归
于 2022-03-12 14:21:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46207392/article/details/123395987
版权

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，
Vive le peuple!

线性回归是最简单的机器学习模型，是个人都可以学会

一.引例

使用一组俄勒冈州波特兰市的城市住房价格的数据,通过机器学习的方法来预测住房价格

在这里插入图片描述
在这里插入图片描述
我们的目标是将一个数据集，通过训练算法训练一个函数h(或者说假设)，通过输入价格x，能输出对应的预测价格e
在这里插入图片描述

注：此例子的预测函数是线性函数
在这里插入图片描述

二.代价函数

它有什么用：

代价函数用于计算预测值和实际值之间的误差，它用于和后面的梯度下降函数共同配合找到最优解

这是我们的假设函数h（或者说预测函数）
在这里插入图片描述

不同情况下预测函数的图像
在这里插入图片描述

线性回归中，最简单的代价函数格式：

在这里插入图片描述

一个对公式的直观图像理解(预测函数仅有hθ1)：
红色点为数据的实际点，蓝色的点是预测的点，蓝线就是误差
在这里插入图片描述

这里附上代价函数和θ1的关系图像
在这里插入图片描述

复杂一点的例子（以h=θ1x+θ0为例）

在这里插入图片描述
它的代价函数大致是长这样子的：

我的评价是：有点哈人
在这里插入图片描述
如果以等高线来看的话是长这样的
红圈标的地方就是代价函数的最小值点
在这里插入图片描述

三.梯度下降

思想

这是theta1和theta0关于损失函数的图像，我们的目标是让学习算法从这个图像中找到代价函数的最小值点
在这里插入图片描述
图示过程如下
在这里插入图片描述
在这里插入图片描述

如果出发点不同的话很有可能导致不同的结果
在这里插入图片描述

算法实现

梯度下降的公式如下
在这里插入图片描述

其中α为学习率，其后面的那坨玩意是代价函数对于某个theta的偏导

理解梯度下降

对于单一变量，它可以照如下方式处理
由图可以理解，α后面那坨东西就是代价函数对于某个theta的偏导，也就是在图像中的斜率
在这里插入图片描述

学习度和梯度下降

学习度如果取值不当，则会产生不良结果
学习度过低
不会影响预测结果，但是会增加算法的资源消耗
在这里插入图片描述
学习度过低
会让学习过程产生震荡，无法得到最终结果
在这里插入图片描述

学习过程怎么终止

对于单个变量
在这里插入图片描述
由此图可知，当向最小值移动时，斜率会降低，到最小值点时，斜率为0，学习过程停止
在这里插入图片描述

如果每次进行迭代，每次结果的差不超过0.001时，结果收敛
在这里插入图片描述

Dhaa_Ryan
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(1)--笔记总览
qq_46207392的博客
03-13 1362
吴恩达大佬的机器学习课程笔记
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(4)--逻辑回归
qq_46207392的博客
03-12 424
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 与之前的线性回归不同，logistic回归不会返回连续的值，它只会返回表示类型的数值（如0和1），它主要用于分类问题 使用逻辑回归的原因 如图所示，这是一个分类问题，四个点为0，其他为1 如果使用线性回归，最终的误差会非常大， 同时使用线性回归的话，结果可能会远大于0和1 逻辑回归 ...
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(5)--过拟合问题
qq_46207392的博客
03-12 118
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple!
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(12)--异常检测
qq_46207392的博客
03-13 158
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 例子 以视频的例子为例 一个航天发动机有两个属性 好的发动机的分布如下图 而我们的任务是，给一个发动机，它的好坏未知，给你它的数据，判断它是否正常 如果发动机正常的概率小于某个阈值，则认为这个发动机异常 异常检测 高斯(正态)分布 图像和公式 不同参数下的高斯函数图像 算法实现 首先求出两个参数 之后将x(i)带入参数进行累乘 如果概率小于阈值，则为异常 实现时要注意的地方 判断算法执行的.
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(14)--梯度下降拓展
qq_46207392的博客
03-13 929
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 这个部分不难，就是拓展了几个梯度下降的方法而已 随机梯度下降 这是普通的线性回归的梯度下降（也叫批量梯度下降） 但是有一个问题，当它的m（训练集）数据量很大时，需要消耗很大的计算资源 所以随机梯度下降出来了 在求出损失函数后，我们将数据集随机打乱，之后每次梯度下降时只会取一个随机抽取的数据进行梯度下降 红色为批量梯度下降的学习曲线，粉色的为随机梯度下降的学习曲线 可以看出粉色的曲线非常的。。。但它大体是向最小.
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(11)--PCA与数据压缩
qq_46207392的博客
03-12 762
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 基本思想 如果数据很多，并且里面有很多数据冗余，我们就需要一个可靠的办法来将数据进行压缩 对于三维来说，压缩的方法就是将所有的点投影在一个线性平面上 PCA(主成分分析算法) 原理理解 对于二维来说，PCA就是将二维的点投影到直线上，寻找使得点到直线垂直距离的平方最小的直线 对于三维，就是寻找两个向量，让所有点到这两个向量构成的平面的垂直距离最短 与线性回归的区别 线性回归是求预测点和实际点的误差，而.
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(9)--支持向量机
qq_46207392的博客
03-12 132
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 误差分析 不对称
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(3)--多元梯度下降
qq_46207392的博客
03-12 165
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 前言 之前的梯度下降仅对少数theta进行了处理，这个文章将介绍一个通用方法对多个theta进行梯度下降处理 如果一个模型有114514+的属性，那么用代码实现的话很麻烦。 如果要一个一个加的话，感觉效率不是很高 该怎么做 转化为向量计算 对于上图第二行数据，我们可以将它转化为一个列向量 （我还没复习线性代数嗷，有问题帮忙指一下） 通过这个思路，我们可以将theta和x{i}(也就是第i个数据)转化为向量.
【学习笔记】吴恩达机器学习 | 汇总 | 已完结！！！
热门推荐
BenjaminChen的博客
07-16 9万+
【学习笔记】吴恩达机器学习 | 汇总 | 已完结！！！
Andrew-Ng-ML 吴恩达机器学习 编程作业（答案）
11-26
Andrew-Ng-ML 吴恩达机器学习 编程作业；If you are using Octave (>=3.8.0), or have an existing installation of MATLAB (), download this week’s programming assignment here. This ZIP-file contains the ...
2022-吴恩达机器学习课程(原始讲义)高清完整版PPTpdf
05-08
2022_吴恩达机器学习课程(原始讲义)高清完整版PPTpdf 包含对应课程所有PPT 仅供大家学习使用，请勿用作商业目的
Andrew-Ng-ML 吴恩达机器学习 编程作业（未包含答案）
11-26
Andrew-Ng-ML 吴恩达机器学习 编程作业；If you are using Octave (>=3.8.0), or have an existing installation of MATLAB (), download this week’s programming assignment here. This ZIP-file contains the ...
2022-Machine-Learning-Specialization-main.zip 吴恩达机器学习ppt
01-28
吴恩达的机器学习课程主要包括两门，一门是在Cousera上的《机器学习》，另一门是他在斯坦福大学教授的《CS229: Machine Learning》。 Cousera上的《机器学习》课程侧重于概念理解，而不是数学推导。这门课程重视...
资源分享 - 吴恩达机器学习 - 课程讲义
07-12
内容概要：通过吴恩达机器学习网课配合课程讲义，可以有效理解吴恩达教授所讲内容，并完成课堂笔记，对机器学习有更深刻的理解。 适合人群：机器学习小白，刚开始接触机器学习的人 能学到什么：①监督学习与无监督...
二区5分纯生信｜单细胞+非负矩阵+AlphaFold+机器学习组合
Senoh的博客
05-29 680
背景： 增生性糖尿病视网膜病变（PDR）是失明的主要原因，其发病机制复杂。本研究整合单细胞 RNA 测序（scRNA-seq）、非负矩阵分解（NMF）、机器学习和 AlphaFold 2 方法，探索 PDR 的分子水平。方法： 我们分析了 PDR 患者和健康对照者的 scRNA-seq 数据，以确定不同的细胞亚型和基因表达模式。NMF 用于定义 PDR 中的特定转录程序。利用 Meta-Program 1 中确定的氧化应激相关基因 (ORG)，使用 12 种机器学习算法构建预测模型。
机器学习-7-机器学习中常用的可视化方式总结
qq_20466211的博客
05-28 114
决策边界、混淆矩阵、ROC曲线、精确率召回率曲线等的可视化方式
超简单白话文机器学习 - 模型检验与评估（含算法介绍，公式，源代码实现以及调包实现）
最新发布
qq_51222843的博客
05-31 1180
指标通过定量评估分类模型性能，帮助我们在实际应用中做出更明智的决策。
AI视频下载：ChatGPT数据科学与机器学习课程
AIGCTribe的博客
05-30 544
通过在优化代码示例语料库上训练ChatGPT,程序员可以创建一种语言模型,能够自动建议现有代码的改进措施,从而减少代码复杂性、提高性能并增加可维护性。通过在包含错误及其解决方案的代码示例语料库上训练ChatGPT,程序员可以创建一种语言模型,能够自动建议解决常见编码错误的方案。通过在代码注释和文档语料库上训练ChatGPT,程序员可以创建一种语言模型,能够自动生成代码片段或整个代码库的文档。所以这是一门完整的课程,将教你数据科学和机器学习,以及如何利用ChatGPT的强大功能进行更快速高效的项目开发。
吴恩达机器学习作业线性回归
09-09
吴恩达的机器学习课程中的作业中有一个关于线性回归的部分。在这个作业中，你将实现一个线性回归模型来预测房屋的价格。具体而言，你需要完成以下几个任务： 1. 设计一个代价函数，用于衡量预测值和实际值之间的误差...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值