机器学习笔记_李宏毅_P3-Regression-case study

最新推荐文章于 2024-07-19 16:33:18 发布
最新推荐文章于 2024-07-19 16:33:18 发布
阅读量214 收藏
点赞数
分类专栏： 李宏毅-深度学习-笔记 文章标签： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CZYruobing/article/details/114362984
版权

李宏毅老师的机器学习笔记


课程视频

例子

用Regression预测宝可梦进化后的CP值
在这里插入图片描述

步骤

第一步：模型function sets

在这里插入图片描述
寻找最合适的函数f，也就是寻找最合适的参数w,b

第二步：寻找最好的函数

训练数据： 10只宝可梦
在这里插入图片描述
最好的函数为：损失函数最小

在这里插入图片描述
如何使得损失函数最小?：随机梯度下降法
在这里插入图片描述
举例子说明什么是随机梯度下降法？如何计算？
假设只有一个参数w时
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
假设只有两个参数w，b时
在这里插入图片描述
考虑到一个问题：在linear model中，没有局部最优，所以可以放心的随机选取初始值w,b
在这里插入图片描述

第三步：算法

在这里插入图片描述

结果

训练误差
在这里插入图片描述

测试误差
在这里插入图片描述
看上图可能会觉得拟合不是很好，会想到增加项来使得拟合更好？
在这里插入图片描述
在这里插入图片描述
可以看到随着增加项，训练误差和测试误差都在递减，那么继续增加
在这里插入图片描述
在这里插入图片描述
可以看到继续增加项，模型越来越复杂，训练误差在递减，但是测试误差反而增大了，也就是过拟合
在这里插入图片描述

上述例子中输入只有宝可梦的原始CP值，假设输入涉及更多的属性呢？

在这里插入图片描述
那么又要返回第一步重新设计模型，但模型太复杂，会产生过拟合
在这里插入图片描述
如何解决过拟合的问题呢？引入正则化
在这里插入图片描述
最后的结果如图，我们可以选择 𝜆 = 100
在这里插入图片描述

总结

  • 构造模型

  • 利用损失函数去判断模型的好坏

  • 用梯度下降法去获得使函数最好的参数

  • 模型越复杂，训练误差越小，但是会导致过拟合

  • 考虑其他特征因素，重新构造模型，容易产生过拟合

  • 使用正则化来解决过拟合：弱化权重系数，使得函数更加平滑

宝可梦数据

作业地址

Kaggle比赛地址

机器学习笔记_李宏毅_P4-Basic Concept_error的来源
作业范例

CZYruobing
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
李宏毅2020机器学习课程笔记（一）- 分类与回归
⚡
04-25 1万+
包含李宏毅机器学习视频P1-P16的课程梗概
【李宏毅2020 ML/DL】P3 Regression - Case Study
记录学习痕迹的公众号：Piper蛋窝
07-20 3856
线性回归与深度学习/机器学习基本思路。
李宏毅21《机器学习》课程笔记
weixin_55768678的博客
09-15 567
课程地址：(强推)李宏毅2021春机器学习课程_哔哩哔哩_bilibili 仅作为个人学习笔记的记录，欢迎大家讨论和指正 1.机器学习基本概念（P2） Machine Learning（机器学习） 机器学习学习到底是什么？一句话概括：让机器具备找一个函式（数）的能力 如：识别语音、识别图片、AlphaGo训练一个合适的函式进行自动下棋，等等。 Different Type Of Function（函数类别） 根据函式的不同，机器学习也有不同的类别 1.Regression 输出为具体.
【更新中】李宏毅机器学习学习笔记汇总
duanyuchen的博客
07-15 4112
之前粗略地学过一次，准备这个暑假再详细地学一次，做做笔记，这篇博客作为一个汇总。 课程链接： https://www.bilibili.com/video/BV1JE411g7XF 1、regress case study 回归案例研究（2020.7.15） 2、
李宏毅-深度学习Note（Lecture 0-2 Introduction Regression）
渣渣的夏天
10-02 533
李宏毅-深度学习Note 视频链接：机器学习-李宏毅(2019) Machine Learning 参考：李宏毅 深度学习19（完整版）国语】机器学习 深度学习 目录 P1ML Lecture 0 - Introduction of Machine Learning P2ML Lecture 1 - Regression - Case Study P3ML Lecture 1 - Regre...
李宏毅机器学习笔记（二）Regression&&Classification
m0_45175511的博客
04-06 438
李宏毅机器学习笔记（二）Regression Case Study （P3） 机器学习入门：回归，预测准确的数值。 李宏毅老师以“预测宝可梦的CP值”为例，介绍了回归的整体过程： Step 1：Model（模型） 定义模型集合/函数集合 例如预测宝可梦的CP值： 先设定一些参数：设宝可梦的种类为xs、CP值为xcp、HP值为xhp、重量为xw、高度为xh。 定义一个简单的mdoel： 使用线性模型,且此时仅考虑宝可梦进化前的CP值，有： y = b + ∑ wi * xi wi：权重weight，b：偏差b
李宏毅2020机器学习深度学习 笔记1（理论上持续更新中）
Karen_Yu_的博客
12-13 1180
我真的超能鸽????哈哈哈 在各种方向上来回摇摆，最后还是老老实实找机器学习来听了（B站学习网站石锤了） https://www.bilibili.com/video/BV1JE411g7XF 看评论还不错，就从这里开始吧！笔芯 ----------------------------------------------------------------------------------------------- P1 Machine Learning (2020)_Course Introd
2020李宏毅机器学习笔记
weixin_44805775的博客
03-28 267
Regression （回归） Case Study （p3） 机器学习的三个步骤： 定义模型，线性？合理性？ 定义损失函数来判断模型的好坏 梯度下降法求使得loss最小的模型里面的参数 建立模型： 定义损失函数： 求使得loss最小的function，即函数里面的参数 线代貌似可以直接解step3里面的式子，但是忘记了，老师介绍的是Gradient Descen（梯度下降法）。 梯度下降法的原理和理论都不难理解，这里主要是学到了一个新的图像表示：这种图放在论文里面应该挺不错的
李宏毅2021机器学习笔记——GAN
Alex_SCY的博客
08-06 1107
GAN_P1 Generation Network as Generator 接下来要进入一个,新的主题 我们要讲生成这件事情 到目前為止大家学到的network,都是一个function,你给他一个X就可以输出一个Y 我们已经学到各式各样的,network架构,可以处理不同的X 不同的Y 我们学到输入的X 如果是一张图片的时候怎麼办 如果是一个sequence的时候怎麼办 我们也学到输出的Y 可以是一个数值 可以是一个类别 也可以是一个sequence 接下来我们要进入一个新的主题,这个新的主题
HW_3_李宏毅2020机器学习作业_李宏毅作业3_李宏毅hw3_李宏毅作业三_saledzj_
10-01
《李宏毅2020机器学习作业3：Python实现深度学习基础》 在本次作业中，我们将深入探讨李宏毅教授2020年机器学习课程中的第三部分，主要聚焦于使用Python语言进行深度学习的基本操作。这个作业旨在帮助学生理解和...
HW_1_李宏毅机器学习作业_thatnn8_李宏毅_
10-01
《李宏毅机器学习作业——thatnn8与Python实践》 李宏毅教授的机器学习课程因其深入浅出的讲解而备受赞誉，他的作业设计旨在帮助学生深入理解并掌握机器学习的基本概念和技术。这个名为“HW_1_李宏毅机器学习作业_...
李宏毅机器学习--Datawhale202210.zip
04-08
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
1-Regression_pythonregression程序_李宏毅_
10-01
在本课程中，“1-Regression_pythonregression程序_李宏毅_”主要聚焦于回归分析这一统计学概念，尤其在Python编程环境下实现回归模型。李宏毅是一位知名的计算机科学教授，他的课程通常深入浅出，适合初学者和有...
台大-李宏毅-B站机器学习视频-课件.zip
09-30
台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器学习视频-课件.zip台大-李宏毅-B站机器...
无监督语义分割综述
qq_46981910的博客
07-16 822
语义分割是计算机视觉领域的一个重要任务，旨在将图像中的每个像素分配给特定的语义类别。然而，传统的语义分割方法通常依赖大量标注数据，获取这些数据既费时又昂贵。无监督语义分割方法旨在通过不依赖标注数据或仅需少量标注数据的情况下，实现对图像的精确分割。这些方法通过利用数据的内在结构、图像特征和自监督学习技术，从大量未标注的数据中提取有用的信息，显著降低了对标注数据的依赖。本文综述了无监督语义分割的主要方法，包括基于聚类的方法、基于图割的方法、基于生成模型的方法、基于自监督学习的方法以及基于领域自适应性的方法。
机器学习-19-基于交互式web应用框架streamlit和gradio转化数据和机器学习模型
最新发布
qq_20466211的博客
07-19 74
将数据和机器学习模型转变为功能性的Web应用程序
YOLO--置信度（超详细解读）
m0_71212744的博客
07-16 1132
数值范围：置信度是一个介于0和1之间的数值。意义：它表示模型对预测框内存在目标对象的确信程度。如果置信度接近1，表示模型非常确信预测框内包含了目标对象；如果置信度接近0，则表示模型认为预测框内可能不包含目标对象。
【人工智能】机器学习 -- 贝叶斯分类器
布丁椰奶冻的博客
07-17 908
一、使用Python开发工具，运行对iris数据进行分类的例子程序NaiveBayes.py，熟悉sklearn机器实习开源库。 1.NaiveBayes.py 2. 运行结果 二、登录https://archive-beta.ics.uci.edu/ 三、使用sklearn机器学习开源库，使用贝叶斯分类器对breast-cancer-wisconsin.data进行分类。 1. Python代码 2. 运行截图 四、用java实现贝叶斯分类器算法，并对上述数据进行分类。 1.流程图
李宏毅机器学习笔记logic regression
09-22
Logic Regression是一种用于分类问题的机器学习算法。它使用一条直线作为边界来区分两个类别。然而，如果数据不能被一条直线分割，Logic Regression就无法处理。为了解决这个问题，我们可以对基向量进行变形，从而改变数据的坐标。但是，找到这样的变换是困难的，因此我们可以使用多个Logic Regression串联起来，每个Logic Regression被称为一个神经元。这就是神经网络。 在逻辑回归模型中，我们使用Sigmoid函数来将线性回归的输出值限制在0到1之间，以表示概率。此外，为了描述预测模型和真实模型之间的接近程度，逻辑回归通常使用交叉熵作为损失函数，而不是均方误差。交叉熵能够更好地处理分类问题，并且给出更好的模型性能评估。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值