统计学习基础--第四章 分类

最新推荐文章于 2022-03-23 00:45:55 发布
最新推荐文章于 2022-03-23 00:45:55 发布
阅读量1k 收藏 1
点赞数
分类专栏： 统计学习导论 文章标签： 分类 逻辑回归 auc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_61586198/article/details/121213556
版权
本文深入介绍了逻辑斯谛回归（logistic）和线性判别分析（LDA），包括概率模型、估计回归系数、贝叶斯判别分析以及分类器评价指标如AUC和ROC曲线。内容涵盖了单变量和多元逻辑斯谛回归，以及p=1和p>1的线性判别分析，并探讨了不同分类方法的优缺点。
摘要由CSDN通过智能技术生成

目录

一、逻辑斯谛回归（logistic）

1、Logistic模型

（1）概率

（2）逻辑斯谛函数

（3）注意

2、估计回归系数

（1）方法：极大似然估计

（2）似然函数

（3）预测

（4）多元逻辑斯谛回归

二、线性判别分析（LDA）

1、贝叶斯判别分析

2、p=1的线性判别分析

（1）p=1：只有一个预测变量

（2）思路

（3）假设

（4）参数估计 

3、 p>1的线性判别分析

4、二次判别分析（QDA)

三、分类器评价指标

1、灵敏度、特异度

2、ROC曲线

3、AUC

 4、为什么使用ROC和AUC评价分类器？

四、分类方法的比较

常见的分类方法有：逻辑斯谛回归（logistic）、线性判别分析（LDA）和K最近邻（KNN）。

一、逻辑斯谛回归（logistic）

逻辑斯谛回归对Y属于某一类的概率建模而不直接对响应变量建模。

1、Logistic模型

（1）概率

P(X)=P_r(Y=1|X)

（2）逻辑斯谛函数

\small p(X)=\frac{e^{\beta_0+\beta_1X}}{1+e^{\beta_0+\beta_1X}}\Rightarrow e^{\beta_0+\beta_1X}=\frac{p(X)}{1-p(X)}\Rightarrow log(\frac{p(X)}{1-p(X)})=\beta_0+\beta_1X

其中，p(X)/[1-p(X)]的值称为发生比，取值范围为0到∞，其值接近于0表示违约概率非常低，接近于∞则表示违约概率非常高。对数变化后，等式左边为对数发生比或分对数，即逻辑斯谛回归模型为分对数变换下关于X的一个线性模型。

（3）注意

  • 在逻辑斯谛回归模型中，X每增加一个单位，对数发生比的变化为β1，发生比的变化乘以\small e^{\beta_1};
  • 当β1>0时，P(X)随X的增加而增加；当β1<0时，P(X)随X的增加而减少。

2、估计回归系数

（1）方法：极大似然估计

（2）似然函数

\small l(\beta_0,\beta_1)=\prod_{i:y_i=1} p(x_i)\prod_{i':y_{i'}=0} (1-p(x_{i'}))\Rightarrow lnl(\beta_0,\beta_1)=\sum_{i=1}^nln(p(x_i))+\sum_{i=1}^nln(1-p(x_i))

 对数变换将连乘转化为累加求和，便于计算。

（3）预测

\small \hat{p}(X)=\frac{e^{\beta_0+\beta_1X}}{1+e^{\beta_0+\beta_1X}}

（4）多元逻辑斯谛回归

最低0.47元/天 解锁文章
无所求275
关注
专栏目录
统计学习导论（ISLR） 第四章分类算法课后习题
阿里云专家博主、数据科学领域优质创作者、统计er在读
03-26 2万+
统计学习导论(ISLR) 参考资料: The Elements of Statistical Learning An Introduction to Statistical Learning 统计学习导论（ISLR）（二）：统计学习概述 统计学习导论（ISLR）（三）：线性回归 统计学习导论（ISLR）（四）：分类 ISLR统计学习导论之R语言应用（二）：R语言基础 ISLR统计学习导论之R语言应用（三）：线性回归R语言代码实战 ISLR统计学习导论之R语言应用（四）：分类算法R语言代码实战 统计学习导论
统计学习方法-第五章
U201410691的博客
03-14 779
统计学习第四章-决策树决策树决策树的条件概率分布特征选择1.信息熵2.条件熵(Conditional Entropy)与信息增益（Information Gain）3.信息增益做特征选择的优缺点4.信息增益比(Infomation Gain Ratio)5.Gini系数决策树生成ID3算法C4.5算法决策树的减枝CART算法回归树的生成分类树的生成 决策树 决策树是一种常见的if-then规则的集...
统计学习导论（四）分类学习笔记
weixin_52547939的博客
07-08 1367
1 分类问题概述 分类模型(classifier)是一种用来预测定性响应变量的方法。我们将讨论三种应用最广泛的分类方法：洛吉斯蒂回归(logistic regression)、线性判别分析（linear discriminant analysis, LDA）和K最近邻(KNN) 2 为什么线性回归不可用 线性回归在预测定性响应变量下是不可用的，原因：通常我们不能将一个定性的响应变量自然地转化为两水平以上地定量变量来建立线性回归模型。(这样做实际会默认一个有序地输出)。 对一个二元响应变量，最小二乘回归是有意
《统计学习导论——基于R应用》Chapter3+4课后实验答案
12-26
英文原版书为《An Introduction to Statistical Learning with Applications in R》Gareth James Daniela Witten Trevor Hastie Robert Tibshirani 答案附分析与代码可供参考
特异度（specificity）与灵敏度（sensitivity）
lihe的博客
11-25 2万+
前言 在论文阅读的过程中，经常遇到使用特异性（specificity）和灵敏度（sensitivity）这两个指标来描述分类器的性能。对这两个指标表示的含有一些模糊，这里查阅了相关资料后记录一下。 基础知识 考虑一个二分类的情况，类别为1和0，我们将1和0分别作为正类（positive）和负类（negative），则实际分类的结果有4种，表格如下：从这个表格中可以引出一些其它的评价指标： ACC：classification accuracy，描述分类器的分类准确率 计算公式为：ACC=(TP+TN)
线性判别分析（LDA）
八千鸟的博客
03-04 266
今天学习一个分类算法-线性判别分析 Fisher线性判别分析 简单来说就是把不同类别的数据集投影到可以分开的程度，并用下式来衡量投影可分的程度。其中，μ1-μ2&gt;表示两类别均值的距离，s12 +s22表示两类别散度平方和。 于是利用此公式寻找分类效果最佳的投影矩阵~ 推导过程如下： ...
机器学习：线性判别分析从理论到公式推导（LDA）
Hanze的博客
03-23 924
机器学习：线性判别分析从理论到公式推导（LDA）数据定义理论概述与变量定义公式推导 数据定义 DataSet X：=(xi,yi)i=1N,令X的每个观测值xi∈Rp{(x_i,y_i)}_{i=1}^N,令X的每个观测值xi \in R^p(xi​,yi​)i=1N​,令X的每个观测值xi∈Rp，Y的每个元素yi∈Ry_i\in Ryi​∈R，我们继续化简，X=[x11x12...x1px21x22...x2p......xn1xn2...xnp](1) \left[ \begin{matrix} x_{
统计学习基础--第一、二章 导论
weixin_61586198的博客
11-01 423
一、data的理解 我们把data分为训练集和测试集，其中训练集用于建立模型，通常要占data的80%；而测试集则是用于预测分析，观察拟合出的模型的效果。 二、数据预处理 1、处理数据文件格式； 2、观察数据是否有缺失值或异常值； 3、是否需要对数据做归一化等处理； 4、是否需要降维。 三、算法 1、有监督学习（有人的干预） (x1,y1)…(xn,yn)中，y1,y2,…,yn等价于标签，即人为的分类，而xN+1、yN+1表示不带标签，类型未知。，其中argmax表...
第二章-matlab基础-(1)完整.pptx
最新发布
11-17
1. MATLAB桌面：包含各种工具和窗口，如命令窗口、历史指令窗口、当前目录浏览器、工作空间浏览器、交互界面分类目录窗和文件编辑调试器等，这些工具使得用户能够高效地组织和管理MATLAB的使用。 总的来说，MATLAB...
【手把手教你】使用Logistic回归、LDA和QDA模型预测指数涨跌
Python金融量化
11-01 4254
1. scikit-learn官网：https://scikit-learn.org/stable/2.Forecasting Financial Time Serie...
【机器学习】分类性能度量指标 : ROC曲线、AUC值、正确率、召回率、敏感度、特异度
自由 平等~忠诚 奉献
01-19 7万+
本文转自 http://zhwhong.ml/2017/04/14/ROC-AUC-Precision-Recall-analysis/ 在分类任务中，人们总是喜欢基于错误率来衡量分类器任务的成功程度。错误率指的是在所有测试样例中错分的样例比例。实际上，这样的度量错误掩盖了样例如何被分错的事实。在机器学习中，有一个普遍适用的称为混淆矩阵(confusion matrix)的工具，它可以帮助人们更
分类模型中准确率、敏感度、特异度的理解
MXIAO56789的博客
06-30 8349
线性判别分析（Linear Discriminant Analyst）
GODSPEED
08-14 1万+
线性判别分析LDA为了最优分类，我们要计算后验概率P(G|X)P(G|X)。设fk(x)设f_k(x)是类G=kG=k中XX的类条件密度，而πk\pi_k是类kk的先验概率，贝叶斯定理给出 P(G=k|X=x)=fk(x)πk∑Kl=1fl(x)πlP(G=k|X=x)={f_k(x)\pi_k \over \sum_{l=1}^Kf_l(x)\pi_l} 假定我们用多元高斯分布对每个类
线性判别分析（Linear Discriminant Analysis）
热门推荐
Daunxx的专栏
07-11 7万+
从贝叶斯公式出发，得到了线性判别分析的公式，这里从另外一个角度来看线性判别分析，也就是常说的Fisher判别式。其实Fisher判别式就是线性判别分析（LDA），只是在讨论Fisher判别式的时候，更侧重于LDA的数据降维的能力。
Fisher线性判别分析
Qer的博客
05-29 9641
本文参考《模式识别》 张学工 以二分类介绍 fisher线性判别：把所有样本都投影到一个方向，然后在这个一维空间中确定一个分类阈值，而fisher要找的就是这个投影方向。 衡量投影方向的标准：选择投影方向，使投影后两类相邻尽可能远，同时每一类内部的样本又尽可能近。 算法推导 训练样本为{x1,x2,...,xN}\{x_1,x_2,...,x_N\}每一个样本是一个d维向量，即xi∈Rdx
机器学习(30)之线性判别分析(LDA)原理详解
机器学习算法与Python学习
12-07 1万+
微信公众号 关键字全网搜索最新排名 【机器学习算法】：排名第一 【机器学习】：排名第一 【Python】：排名第三 【算法】：排名第四 前言 在主成分分析（PCA）原理总结（机器学习(27)【降维】之主成分分析(PCA)详解）中对降维算法PCA做了总结。这里就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 简称LDA）做一个总结。
线性判别分析_线性判别分析浅析及推导
weixin_39808893的博客
12-18 703
线性判别分析（Linear Discriminant Analysis, LDA），LDA是一种监督学习的降维技术，其具体的原理用一个栗子来说明。首先，从一个简单的分类开始，如下图所示尝试找一个向量，并将各个样本投影到该向量上，比如上面的向量虽然将两类样本区分开了，但是我们的目标并不是直接分开这两类样本，而是使它们的投影能够尽可能的分开，一个比较好的栗子如下所示：可以看到，投影后的结果，对于同一个...
线性判别分析
zhzhx0318的专栏
07-12 1647
概述需要注意一下，LDA有两种缩写： 一种是线性判别分析（Linear Discriminant Analysis） 一种是概率主题模型——隐含狄利克雷分布（Latent Dirichlet Allocation） 本文讲的是前者。线性判别分析（Linear Discriminant Analysis，LDA）的思想是： 训练时：设法将训练样本投影到一条直线上，使得同类样本的投影点尽可能地接近，异
机器学习笔记（三）-线性判别分析
Blessy_Zhu的博客
04-24 7405
在文章[机器学习笔记（一）-线性回归](https://blog.csdn.net/weixin_42555080/article/details/89357470)中已经介绍了线性回归，文中提到，线性回归是最基本最简单的机器学习算法，但是，在打破线性回归的某一特性时会出现新的算法。正如文章[机器学习笔记（二）-感知机](https://blog.csdn.net/weixin_42555080/article/details/89412841)中介绍的感知机，它是打破了线性中的全局非线性这一性质——它是将
"西南财经大学《统计学》第二章：统计数据收集与整理
在第四节中，讲解了统计数据的显示，主要涉及统计表和统计图的制作。统计表是用表格的形式将数据进行整理和展示，它可以直观地反映数据的分布和关系。统计图是用图形的形式将数据进行可视化展示，便于人们更加直观地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值