[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(2)--最简单的线性回归

已于 2022-03-12 16:51:12 修改
阅读量292 收藏 2
点赞数 1
分类专栏： 机器学习
于 2022-03-12 14:21:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46207392/article/details/123395987
版权

线性回归 代价函数 梯度下降 预测模型 机器学习
关键词由CSDN通过智能技术生成

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，
Vive le peuple!

线性回归是最简单的机器学习模型，是个人都可以学会

一.引例

使用一组俄勒冈州波特兰市的城市住房价格的数据,通过机器学习的方法来预测住房价格

在这里插入图片描述
在这里插入图片描述
我们的目标是将一个数据集，通过训练算法训练一个函数h(或者说假设)，通过输入价格x，能输出对应的预测价格e
在这里插入图片描述

注：此例子的预测函数是线性函数
在这里插入图片描述

二.代价函数

它有什么用：

代价函数用于计算预测值和实际值之间的误差，它用于和后面的梯度下降函数共同配合找到最优解

这是我们的假设函数h（或者说预测函数）
在这里插入图片描述

不同情况下预测函数的图像
在这里插入图片描述

线性回归中，最简单的代价函数格式：

在这里插入图片描述

一个对公式的直观图像理解(预测函数仅有hθ1)：
红色点为数据的实际点，蓝色的点是预测的点，蓝线就是误差
在这里插入图片描述

这里附上代价函数和θ1的关系图像
在这里插入图片描述

复杂一点的例子（以h=θ1x+θ0为例）

在这里插入图片描述
它的代价函数大致是长这样子的：

我的评价是：有点哈人
在这里插入图片描述
如果以等高线来看的话是长这样的
红圈标的地方就是代价函数的最小值点
在这里插入图片描述

三.梯度下降

思想

这是theta1和theta0关于损失函数的图像，我们的目标是让学习算法从这个图像中找到代价函数的最小值点
在这里插入图片描述
图示过程如下
在这里插入图片描述
在这里插入图片描述

如果出发点不同的话很有可能导致不同的结果
在这里插入图片描述

算法实现

梯度下降的公式如下
在这里插入图片描述

其中α为学习率，其后面的那坨玩意是代价函数对于某个theta的偏导

理解梯度下降

对于单一变量，它可以照如下方式处理
由图可以理解，α后面那坨东西就是代价函数对于某个theta的偏导，也就是在图像中的斜率
在这里插入图片描述

学习度和梯度下降

学习度如果取值不当，则会产生不良结果
学习度过低
不会影响预测结果，但是会增加算法的资源消耗
在这里插入图片描述
学习度过低
会让学习过程产生震荡，无法得到最终结果
在这里插入图片描述

学习过程怎么终止

对于单个变量
在这里插入图片描述
由此图可知，当向最小值移动时，斜率会降低，到最小值点时，斜率为0，学习过程停止
在这里插入图片描述

如果每次进行迭代，每次结果的差不超过0.001时，结果收敛
在这里插入图片描述

【斯坦福公开课-机器学习】2.监督学习应用-梯度下降（吴恩达 Andrew Ng）
Wu_Being 的CSDN 博客
05-19 286
1线性代数linear algebra 1-1 符号Notation 1-2 例子房价预测 1-3 假设函数hypothesis 1-3-1 例子中的假设函数 1-3-2 例子中的假设函数的参数 1-3-3 用线性代数-非齐次方程解释参数 1-4 求值最小化算法 1-4-1 梯度下降算法gradient descent algorithm 1-普通梯度下降算法 2-批梯度下降算法batch g
吴恩达深度学习教程——中文笔记网上资料整理
Superstar02的博客
09-27 1167
深度学习笔记目录 课程地址：https://mooc.study.163.com/university/deeplearning_ai#/c 专栏： https://blog.csdn.net/shikong_/article/category/7288516 https://blog.csdn.net/zc...
Andrew Ng网课笔记-Linear Regression(一)
u014628668的博客
03-05 287
这一讲说到了线性回归（Linear Regression）线性回归是一种监督式学习。我们给机器一些带标签的数据，然后机器用这些带标签的数据学习。1.从一个例子入手首先Ng老师举了个例子：这是有关于房价预测的例子。图中的点横坐标是面积，从纵坐标是房价， 我们要做的事情是想找到一个模型，让这个模型更好的符合当前的房价与面积的对应关系，之后我们用这个模型简单的预测房价。首先，我们有一些training ...
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(8)--对机器学习进行评估
qq_46207392的博客
03-12 245
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple!
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(14)--梯度下降拓展
qq_46207392的博客
03-13 1020
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 这个部分不难，就是拓展了几个梯度下降的方法而已 随机梯度下降 这是普通的线性回归的梯度下降（也叫批量梯度下降） 但是有一个问题，当它的m（训练集）数据量很大时，需要消耗很大的计算资源 所以随机梯度下降出来了 在求出损失函数后，我们将数据集随机打乱，之后每次梯度下降时只会取一个随机抽取的数据进行梯度下降 红色为批量梯度下降的学习曲线，粉色的为随机梯度下降的学习曲线 可以看出粉色的曲线非常的。。。但它大体是向最小.
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(4)--逻辑回归
qq_46207392的博客
03-12 478
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 与之前的线性回归不同，logistic回归不会返回连续的值，它只会返回表示类型的数值（如0和1），它主要用于分类问题 使用逻辑回归的原因 如图所示，这是一个分类问题，四个点为0，其他为1 如果使用线性回归，最终的误差会非常大， 同时使用线性回归的话，结果可能会远大于0和1 逻辑回归 ...
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(1)--笔记总览
qq_46207392的博客
03-13 1478
吴恩达大佬的机器学习课程笔记
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(5)--过拟合问题
qq_46207392的博客
03-12 196
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple!
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(12)--异常检测
qq_46207392的博客
03-13 215
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 例子 以视频的例子为例 一个航天发动机有两个属性 好的发动机的分布如下图 而我们的任务是，给一个发动机，它的好坏未知，给你它的数据，判断它是否正常 如果发动机正常的概率小于某个阈值，则认为这个发动机异常 异常检测 高斯(正态)分布 图像和公式 不同参数下的高斯函数图像 算法实现 首先求出两个参数 之后将x(i)带入参数进行累乘 如果概率小于阈值，则为异常 实现时要注意的地方 判断算法执行的.
[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(11)--PCA与数据压缩
qq_46207392的博客
03-12 866
不必时时怀念我，也不要指望我回来，我离开以后，你们就是我， Vive le peuple! 基本思想 如果数据很多，并且里面有很多数据冗余，我们就需要一个可靠的办法来将数据进行压缩 对于三维来说，压缩的方法就是将所有的点投影在一个线性平面上 PCA(主成分分析算法) 原理理解 对于二维来说，PCA就是将二维的点投影到直线上，寻找使得点到直线垂直距离的平方最小的直线 对于三维，就是寻找两个向量，让所有点到这两个向量构成的平面的垂直距离最短 与线性回归的区别 线性回归是求预测点和实际点的误差，而.
史上最全机器学习资源整理
bigquant的博客
12-29 1552
机器学习资源浩如烟海，本文对机器学习资源做了相关整理，希望大家能够根据自己的细分研究领域，着重关注某些学习资源。可能某几个网页链接打不开，那说明需要“科学”上网。 机器学习也是一门实践学科，最好的学习就是不断的实践，推荐 BigQuant 人工智能量化投资 一站式的python+机器学习+量化投资平台，打开浏览器就可以使用投资数据和机器学习算法。 书籍 《Programming Collect...
机器学习资源整理（视频、书籍、链接）
DeepLabs的博客
10-14 2196
最全的机器学习资源整理（持续更新） 视频资源:吴恩达创立的深度学习学院、吴恩达的《深度学习》课程、李飞飞：如何教计算机理解图片、斯坦福大学公开课 ：机器学习课程、西安电子科技大学人工智能视频、谷歌人工智能入门、Yann Lecun深度学习公开课、MIT机器学习进阶课程等 Caffe/Tensorflow资源：prototxt网络结构可视化、Alexnet/Resnet/Letnet
深度学习之机器学习
黑黑白白君的博客
03-03 1842
#深度学习 深度学习（英语：deep learning）是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。表征学习的目标是寻求更好的表示方法并创建更好的模型来从大规模未标记数据中学习这些表示方法。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。【https://zh.wikipedia.org/wiki/%E6%B7%B1%E5%BA...
机器学习基础03_特征降维&KNN算法-分类&模型选择和调优
l15202833159的博客
11-13 837
机器学习；PCA特征提取；KNN分类算法；交叉验证；超参数搜索
机器学习（基础3）
tang1389764的博客
11-13 575
获取数据、数据处理、特征工程后，就可以交给预估器进行机器学习，流程和常用API如下。
Matlab: 生成对抗网络，使用Datastore结构输入mat格式数据
最新发布
qq_22163371的博客
11-13 769
使用matlab的生成对抗网络（Generative Adversarial Network，GAN）以及条件CGAN时，案例中 的生成器的输入为图像，改为.mat格式输入遇到的问题。解决方法。
机器学习—Additional Layer Types
yn3535_的博客
11-12 391
如果你在神经网络中有多个卷积层，有时这叫卷积神经网络，为了说明卷积层，使用一维图像输入而不是二维，使用EKG，所以如果你在胸口放两个电极，你将记录如下所示的电压，与你的心跳相对应，实际上是在读取心电图信号，这些信号看起来像这样，试图诊断，如果病人有心脏问题，所以心电图信号有一个数字列表，对应于这个表面的高度，在不同的时间点，所以可能会有100个数字对应于这条曲线的高度，在100个不同的时间点，给出这个时间序列的学习任务，给这个心电图信号来分类，说这个病人是否有心脏病或一些可诊断的心脏病，以下是。
机器学习 笔记
qq_71751106的博客
11-12 357
data1=model.fit_transform(data) #使用API。max 分别是每种特征中的最小值和最大值，而 ��是当前特征值，# 导入jieba用于断词中文字符串。#sparse是否转换成三元组形式。data=[], #传入字典数据。scaled 是归一化后的特征值。
机器学习引领流体动力学新纪元：CFD、Fluent与OpenFOAM的深度融合
2301_80236428的博客
11-13 360
而OpenFOAM，作为一款开源的CFD软件，则以其高度的可定制性和强大的底层代码库，成为CFD算法开发的理想平台。更重要的是，机器学习能够从大量的模拟数据中学习流体行为模式，对流体行为做出准确的预测，这种预测能力使得机器学习成为优化产品设计、提高系统性能、减少实验测试次数和成本的有力工具。展望未来，随着机器学习技术的不断发展和CFD软件的不断完善，我们有理由相信，Fluent与OpenFOAM将在流体动力学领域发挥更加重要的作用。值得注意的是，Fluent和OpenFOAM与机器学习的结合并非一帆风顺。
吴恩达机器学习课程笔记：从线性回归到正则化
"这是一份关于吴恩达教授的机器学习课程的笔记，涵盖了从基础知识到进阶概念的多个章节，包括引言、线性回归、逻辑回归、正则化、神经网络以及机器学习系统的评估等多个主题。笔记由许鹏修订并更新，详细记录了每个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值