＜Regression＞ Andrew Ng Machine Learning course

已于 2024-08-18 01:23:14 修改
阅读量389 收藏 6
点赞数 3
分类专栏： CV 文章标签： 机器学习 人工智能
于 2024-08-13 01:20:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_80789887/article/details/141145522
版权

学习内容：监督学习-回归算法

为C1：week1到week3的全部内容

由于在前置课程已经接触过相关知识，这一部分内容也相对好理解，因此快速过完。笔记则尽量简略，只记基本要点。为了保证更新，因此先写一部分，剩下的将会很快补充。

前置知识

数学

  • 梯度：用于描述一个多变量函数在某一点的变化率。

梯度是一个向量，其方向是函数增长最快的方向，其大小表示函数在该方向上的变化速率；简而言之梯度指示了函数值上升（同时也是下降）最快的路径。对于一个有多个自变量的函数f(x_1,x_2,...,x_n)，梯度是一个包含所有偏导数的向量：

\bigtriangledown f(x_1,x_2,...,x_n)=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_n})

统计学

  • 残差平方和
  • 离差平方和

术语

  • 训练集：用于训练模型的有标准答案的数据集
  • 测试集：用于评估训练好模型性能的有标准答案的数据集

一般会把数据集进行划分，如80%用于训练，20%用于测试模型效果。

  • x:输入变量/特征/输入特征

  • y:输出变量/目标/输出目标

  • \widehat{y}：y的估计值/预测值

简单来说，训练集内的每一组数据包括x与y的值。用n组数据进行训练可以得到模型函数f。

输入x——>训练好的f——>输出\widehat{y}，即可完成预测。

  • 损失函数（Cost Function）J：用于描述误差大小的一个函数。

参数w，b会影响模型与训练集数据的总体误差大小，我们希望这个误差达到最小，这时的参数是最优的。当然要注意过拟合情况。

  • 学习率（步长）：梯度下降法中梯度的乘数。

线性回归（Linear Regression）

定义

用直线拟合模型函数

f(x)=wx+b

损失函数

对线性回归通常可以使用残差平方和来描述。

J(w,b)=\frac{1}{2m}\sum_{i=1}^n(\widehat{y}^{(i)}-y^{(i)})^{2}

除以m是为了让损失函数不随样本量增大而增大。除以2是为了简化计算，也可不除。

想办法让成本函数达到最小值的方法涉及到最优化方法的知识。例如在参数为w和b的情况下，J的函数图像如下图，是一个碗状的3D函数。

选择一些点水平切片，就能将3维函数降维到平面：

此时损失函数水平最低点所对应的w和b就是最佳参数。

梯度下降法：寻找损失函数最小值

基本步骤：

  1. 初始化参数：对线性回归常用w=b=0

  2. 计算\nabla f(w,b)：寻找下降方向

  3. 更新参数：\theta_{new} = \theta_{old} - \alpha \nabla f(\theta_{old})

  4. 迭代：重复步骤 2 和 3，直到满足停止准则（如梯度的绝对值小于某个阈值，或者函数值变化非常小）。

  5. 停止：当达到停止准则时，停止迭代，并返回当前的参数值作为优化结果。

有趣特性

初始点的选择不同可能会导致最终结果去向不同的局部最小值，即初始点影响路径与结果。

实操注意

在写代码时要让参数同步更新

//未完待续

要修不语禅
关注
专栏目录
Machine Learning课程 by Andrew Ng
GarfieldEr007的专栏
07-07 3693
大名鼎鼎的机器学习大牛Andrew Ng的Machine Learning课程，在此mark一下： 一：Coursera： https://www.coursera.org/learn/machine-learning/home/info 这门课是Andrew Ng在其开创的公开在线课程网站coursera上最初开设的几门课之一，assignment也有一
Andrew Ng Machine Learning 专题【Introduction】
IronYoung_不惧未来
07-29 3356
此文是斯坦福大学，机器学习界 superstar — Andrew Ng 所开设的 Coursera 课程：Machine Learning 的课程笔记。力求简洁，仅代表本人观点，不足之处希望大家探讨。 课程网址：https://www.coursera.org/learn/machine-learning/home/welcome
＜Intro＞ Andrew Ng Machine Learning course
2301_80789887的博客
08-10 1185
让计算机在没有明确编程的情况下学习的科学（gives computers the ability to learn without being explicitly programmed）训练数据中的输出y自带标签，即标准答案。例如在经典的房价回归预测数据集中，每一处的房价y都给出了具体数值，在训练中机器能够知道学习结果正确与否，偏差是多少。训练数据中的输出y不带标签，让机器自行在数据中发现某种模式、结构或特征（structure。
Andrew Ng Machine Learning notes - Course1 Week1
qq_42949310的博客
01-13 153
Andrew Ng Coursera Machine Learning 学习笔记
Andrew Ng Machine Learning 第二周
未知丶的博客
11-28 469
吴恩达Machine Learning 第一周前言多元线性回归Multivariate Linear Regression）1.假设函数与代价函数![在这里插入图片描述](https://img-blog.csdnimg.cn/20181127174007828.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10...
Andrew Ng Machine Learning 第一周
未知丶的博客
11-27 327
吴恩达Machine Learning 第一周前言单变量线性回归(Linear Regression with One Variable)1.模型描述2.代价函数3.梯度下降算法4.作业题目 前言 网易云课堂（双语字幕，不卡）：https://study.163.com/course/courseMain.htm?courseId=1004570029 Coursera：https://www.c...
stanford公开课Machine Learning视频教程By Andrew Ng
GarfieldEr007的专栏
12-05 4110
Machine Learning Andrew Ng Course Description In this course, you'll learn about some of the most widely used and successful machine learning techniques. You'll have the opportunity to implemen
Andrew Ng Machine Learning 第三周
未知丶的博客
12-03 613
吴恩达Machine Learning 第二周前言Logistic 回归(Logistic Regression）1.分类问题模型描述2.决策界限3.代价函数 前言 网易云课堂（双语字幕，不卡）：https://study.163.com/course/courseMain.htm?courseId=1004570029 Coursera：https://www.coursera.org/lear...
COURSERA- 吴恩达机器学习 Machine Learning by Andrew NG
weixin_41460195的博客
10-01 275
COURSERA —— Machine Learning by Andrew NG Week 1 Introduction Lesson 1 Welcome machine learning -Grew out of work in ai -New capability for computers Examples: • Database mining ◦ Large datasets from growth of automation/web. e.g., Web click data, medical
神经网络实现分类matlab代码-MachineLearningIntro-AndrewNg-Coursera:MachineLearning
06-16
Machine Learning Course of 斯坦福大学 Coursera 的 Andrew Ng 硬件的评分结果在“成绩”文件夹中 ##周 01： ##周 02： ##week 03: Logistical Regression FILES ex2.m : 运行 Logistical Regression 练习 X, y 从...
matlab中的pinv代码-Machine-Learning-Linear-Regression-Gradient-Descent:机器学习
05-26
#Machine Learning Course Coursera作者：Andrew NG 它包含具有单变量和多变量的线性回归和梯度下降的矢量化实现。 它还包括通过正则方程法的解决方案。 #Regression回归问题是指在一定时间间隔内输出值的问题。 像...
机器学习--卷积神经网络（包括python实现）
ID246783的博客
09-13 906
首先我们要知道channel是什么意思，。我们来举个例子，在计算机视觉中，如果一张图片是黑白的，那么每个像素点都是有一个信息也就是这个像素点的灰度。但是对于一张彩色图片来说，每个像素点都是由三个信息叠加而成的，也就是RBG三个颜色的“灰度”。于是我们对黑白照片操作变成矩阵的时候，我们就会直接将灰度拿来用，把它变成一个二维的矩阵。而对于彩色照片来说，我们就会建立一个高为3的三维张量来存储这个图片。这里的所谓“高度3”就是我们的channel。
车辆检测与分类系统源码分享
xuehaikj的博客
09-13 1365
数据集信息展示在本研究中，我们采用了名为“comexit”的数据集，以支持对YOLOv8模型在车辆检测与分类任务中的改进。该数据集专注于交通工具的识别，特别是公共交通和货运车辆，具有明确的应用背景和实用价值。数据集的类别数量为三，具体包括“bus”（公交车）、“car”（小汽车）和“truck”（卡车）。这三类车辆在城市交通和物流系统中扮演着重要角色，因此，准确的检测与分类对于交通管理、智能交通系统以及自动驾驶技术的发展具有重要意义。
机器学习-梯度下降实验一
最新发布
yangfreeyyds的博客
09-16 220
【代码】机器学习-梯度下降实验一。
人工智能和机器学习：探讨人工智能和机器学习的最新发展、应用、挑战和未来趋势
kelai_6792的博客
09-13 440
人工智能和机器学习的未来趋势主要包括以下几个方面：首先，深度学习和增强学习技术将继续发展，深度学习技术将更加广泛应用于视觉、语音、自然语言处理等领域；最后，人工智能和机器学习将更加注重与人类的协作和互动，以便更好地服务于人类社会的发展。同时，人工智能和机器学习在医疗、金融、物流等领域也得到了广泛的应用。总之，人工智能和机器学习技术的最新发展、应用、挑战和未来趋势是当前科技领域的热点话题，需要我们密切关注和探讨。人工智能和机器学习是当前科技领域的热点话题，其最新发展、应用、挑战和未来趋势备受关注。
机器学习（西瓜书）第 10 章 降维与度量学习
m0_51448653的博客
09-13 748
k 近邻(k-Nearest Neighbor,简称kNN)学习是一种常用的监督学习方法,其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个 “邻居”的信息来进行预测.通常，在任务中可使用“”，即选择这k个样本中出现最多的类别标记作为预测结果；在任务中可使用“”，即将这k个样本的实值输出标记的平均值作为预测结果；还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大.与前面介绍的学习方法相比，k近邻学习有一个明显的不同之处：它似乎。
机器学习2--matplotlib绘图包
qq_54641174的博客
09-12 519
matplotlib画图
机器学习和深度学习的区别
不会代码的小林
09-11 740
综上所述，机器学习和深度学习在定义与起源、模型复杂度、数据需求、计算资源需求、特征学习能力以及应用范围与场景等方面都存在显著的区别。深度学习：则通常使用多层的神经网络模型，如卷积神经网络（CNN）、递归神经网络（RNN）等，这些模型复杂度高，包含大量的参数，能够处理更加复杂和抽象的问题。机器学习：常用的模型包括线性回归、支持向量机、随机森林等，这些模型相对简单，参数较少，适合处理较为简单的问题。深度学习：需要大量的标记数据来训练复杂的模型，以避免过拟合等问题，对数据的量和质都有较高的要求。
C#实现非线性回归方法 传入参数为Func<Vector<double>, Vector<double>>, Vector<double> ,double[]
05-19
public static Vector<double> NonlinearRegression(Func<Vector<double>, Vector<double>> function, Vector<double> data, double[] target) { var jacobian = Matrix<double>.Build.Dense(target.Length, data...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值