【李宏毅机器学习笔记】02_Classification

最新推荐文章于 2022-10-02 23:32:53 发布
最新推荐文章于 2022-10-02 23:32:53 发布
阅读量903 收藏
点赞数
文章标签： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45268337/article/details/124001737
版权

Classification

regression方法不太使用于classification，因为regression希望output值接近于1或-1，因此也会惩罚那些比较大的值，会导致决策面偏离最佳的classification boundary。

Naive Bayes(Generative)

我们可以用下面的决策函数和损失函数来实现classification

在这里插入图片描述

Maximum Likelihood

计算出高斯分布的mean和covariance

在这里插入图片描述

为了减少参数，防止出现过拟合，当我们考虑一个二分类模型时，这两个高斯分布的Σ是共用的

在这里插入图片描述

当共用同样的Σ时，可以称为linear model，用不同的Σ时，则是nonlinear model。

基本步骤

在这里插入图片描述

在这里插入图片描述

通过数学推导可以知道，我们需要找的model是一个线性的model（当Σ取同样的值时）

在这里插入图片描述

直觉是，我们可以直接忽略上面的概率分布参数，直接计算w和b，因此提出了Logistics Regression

Logistics Regression(Discriminative)

Step 1：Function Set

sigmoid方程输出的值就是概率，介于0到1之间

在这里插入图片描述

线性regression的输出是z，因此输出值可能是任意值

Step2：Goodness of a Function

极大似然估计的计算方法，首先取对数，简化计算，然后将其改为分段函数的形式，根据data的label分段，实际上就是两个伯努利分布的交叉熵，这样当training data是class1或class2时，其中一项都会变为0，也就是变成其中一个class的交叉熵

在这里插入图片描述

Step3：Find the best function

在这里插入图片描述

最终的logistics regression的梯度下降参数更新方程与linear regression 一样

在这里插入图片描述

损失函数的选择

对于线性回归来说，Square error是很正确的；但对logistics regression来说，是不合适的，会出现不管在那个点上微分值都很小，因此梯度下降时移动速度非常慢，因此也无法判断自己是距离目标很近还是很远，

生成模型和判别模型的优劣

Multi-class Classification

softmax：对最大值做强化

在这里插入图片描述

limitation of logistics regression

Feature Transformation：使用特征转换将无法在特征空间中区分的数据转换到另一个可以区分的空间

logistics regression的链接可以构成neural network

子因你太美
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
李宏毅机器学习学习笔记
08-05
李宏毅机器学习学习笔记 本资源主要介绍了 Adaptive Learning Rate 的基本思想和方法，以及相关的算法和策略，如 Adgrad、RMSProp、Adam、Learning Rate Decay、Warm Up 等。 Adaptive Learning Rate 的主要思想是...
李宏毅2020机器学习作业2——Classification
01-21
开始之前声明：本文参考了李宏毅机器学习作业说明（需翻墙），基本上是将代码复现了一遍，说明中用的是google colab（由谷歌提供的免费的云平台），我用的是Jupyter Notebook 本文用到的资料在百度网盘自取点击下载，提取码：zdth。请将所需资料下载解压，确保资料中有6个文件，并保存到自己的目录当中。 【博主的环境：Anaconda3+Jupyter Notebook，python3.6.8】 作业要求：根据收集来的资料，判断每个人其年收入是否高于50000美元，用Logistic regression和Generative model两种方法来实现 1.Logistic
李宏毅机器学习课程笔记2：Classification、Logistic Regression、Brief Introduction of Deep Learning
热门推荐
徐子尧的博客
03-29 1万+
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第4-6课所做的笔记和自己的理解。Lecture 4: Classification: Probabilistic Generative Model以根据宝可梦各属性值预测其类型为例说明分类问题。 训练数据是若干宝可梦的各属性值及
李宏毅机器学习之Classification
Running Snail
07-22 287
实际应用 关于分类的一些应用 How to do Classification 首先，要收集data。 1.假设现在的model是y=b+w1x1+w2x2y=b+w1x1+w2x2y=b+w1x1+w2x2，如果用Regression来想，我们希望蓝色的接近1，红色的接近-1，用绿色的线分开。 但如果出现右图的情况，蓝色的点有的接近1，有的>>1，这是用Regression就出问题，会得到紫色的线，而不会得到绿色的线。因为要使>>1的蓝点压小，所以绿色的线一定向右侧倾斜。 所
机器学习（李宏毅）—— Classification
mooc1212的博客
03-14 1490
如果简单的将Classification看成一个Regression的问题，会发现Regression的评价标准并不适用于Classification（回归的本质是让损失函数尽可能的小，而分类只看重类别并不关心损失函数的大小）。 Gaussian Distribution：，均值，协方差矩阵。 Maximum Likelihood：假设从被给的高斯分布所生成的79个数据，根据极大似然估计原理，从而，化简得， ...
李宏毅2021机器学习笔记——Classification
Alex_SCY的博客
07-26 407
Classification To learn more 接下来讲有关分类怎麼做这件事情,这边讲的是一个短的版本,因為时间有限的关係,如果你想要看长的版本的话,可以看一下过去上课的录影 过去可能是花两个小时,到三个小时的时间才讲完,分类这件事情,我们这边用一个最快的方法,直接跟你讲分类是怎麼做的 Classification as Regression？ 分类是怎麼做的呢 我们已经讲了,Regression就是输入一个向量,然后输出一个数值,我们希望输出的数值跟某一个label,也就是我们要学习的目标,越
HW_3_李宏毅2020机器学习作业_李宏毅作业3_李宏毅hw3_李宏毅作业三_saledzj_
10-01
《李宏毅2020机器学习作业3：Python实现深度学习基础》 在本次作业中，我们将深入探讨李宏毅教授2020年机器学习课程中的第三部分，主要聚焦于使用Python语言进行深度学习的基本操作。这个作业旨在帮助学生理解和...
HW_1_李宏毅机器学习作业_thatnn8_李宏毅_
10-01
《李宏毅机器学习作业——thatnn8与Python实践》 李宏毅教授的机器学习课程因其深入浅出的讲解而备受赞誉，他的作业设计旨在帮助学生深入理解并掌握机器学习的基本概念和技术。这个名为“HW_1_李宏毅机器学习作业_...
李宏毅2020机器学习_课堂作业.zip
最新发布
04-12
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
李宏毅2020机器学习课程笔记-Classification
peacefairy的博客
09-16 472
classfication--宝可梦的研究1.分类是什么？2.宝可梦研究(问题的导入)3.把分类问题作为回归问题来解，work嘛？4.分类模型的分析（二分类）5.多分类案例说明6. Logistic Regression的局限-引入Deep Learning 1.分类是什么？ 分类问题是找一个function，它的input是一个object，它的输出是这个object属于哪一个class。 2.宝可梦研究(问题的导入) 以宝可梦为例，已知宝可梦有18种属性，现在要解决的分类问题就是做一个宝可梦种类的分
【学习笔记】李宏毅2021春机器学习课程第2.5节：Classification
Harryline的博客
07-15 292
文章目录1 Classification as Regression？2 Class as one-hot vector3 Classification with softmax3.1 Softmax4 Loss of Classification 1 Classification as Regression？ 我们已经知道，Regression就是输入一个向量，然后输出一个数值，我们希望输出的数值跟某一个label，也就是我们要学习的目标，越接近越好。 现在问题来到了如何做Classification，
【李宏毅2022机器学习】笔记二：Classification分类器（Gaussian，Maximum Likelihood）
一亿少女的梦
03-17 1167
基于高斯分布的分类器
机器学习（李宏毅）第四天：Classification分类概率生成模型
mangoJohn的博客
10-02 213
机器学习（李宏毅2016）第四天：Classification分类概率生成模型
李宏毅2020机器学习2
赵小二的专栏
04-08 362
李宏毅2020机器学习210. Classification10.1 Generative model 生成模型11. Logistic Regression12. Deep Learning13. Backpropagation14. Tips for Deep Learning15. 为什么选择deep15.1. Modularization15.2. End-to-end Learning16. PyTorch 介绍16.1. tensor.view16.2. Broadcasting16.3. Co
（2020李宏毅）机器学习-Classification
顾道长生的科研笔记
09-22 330
文章目录**Classification**抽象建模**Two Boxes****Two Classes****Gaussian Distribution****Probability from Class****Maximum Likelihood**修改模型**Posterior Probability** （后验概率） Classification 抽象建模 Function（Model） Loss Function Find the best function: e.
Python计算机视觉 图像内容分类
weixin_43848422的博客
05-19 909
本次实验主要分为以下三类： 1.K邻近分类法（KNN） 2.用稠密SIFT作为图像特征 3.手势识别 一、K邻近分类法（KNN） 原理： 在分类方法中，最简单且用得最多的一种方法之一就是KNN算法，这种算法把要分类的对象与训练集中一直类标记的所有对象进行对比，并由K邻近对指派到哪个类进行投票。 他的核心思想就是，要确定测试样本属于哪一类，就寻找所有训练样本中与该测试样本“距离”最近的前K个样本，然...
2020李宏毅机器学习笔记——4.classification(分类）
weixin_44790306的博客
04-23 2344
一、classification分类 分类（classification），即找一个函数判断输入数据所属的类别，可以是二类别问题（是/不是），也可以是多类别问题（在多个类别中判断输入数据具体属于哪一个类别）。 同回归问题（regression）相比，分类问题的输出不再是连续值，而是离散值，用来指定其属于哪个类别。分类问题在现实中应用非常广泛，比如垃圾邮件识别，手写数字识别。 ...
machine learning(9) -- classification:Decision boundary
weixin_30362233的博客
07-28 118
machine learning(9) -- classification:Decision boundary 上图的decision boundary是一条直线，是属于预测函数的一个属性(当参数已经确定)，不是数据集的属性. decision boundary是根据预测函数得来的，而不是根据数据集得到的。数据集（trainning data）是用来确定参数（θ0，θ1，θ2.....
李宏毅机器学习笔记logic regression
09-22
Logic Regression是一种用于分类问题的机器学习算法。它使用一条直线作为边界来区分两个类别。然而，如果数据不能被一条直线分割，Logic Regression就无法处理。为了解决这个问题，我们可以对基向量进行变形，从而...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值