【ML学习笔记】19：原始的LDA线性判别式分析

最新推荐文章于 2023-10-09 23:42:18 发布
最新推荐文章于 2023-10-09 23:42:18 发布
阅读量606 收藏 2
点赞数
分类专栏： 机器学习 文章标签： Fisher LDA 线性分类器 机器学习 模式识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SHU15121856/article/details/79008100
版权

简述LDA

LDA线性判别式分析也叫Fisher线性判别，其思路和感知机不同。感知机是根据自己的分类错误去调整决策线的位置，而Fisher线性判别的思想是把空间中的样本点向一个向量上投影，最终在这个向量确定的一维空间中就可以根据点的散布确定阈值，从而做线性判别了。
这里写图片描述

显然这个投影方向应尽可能让投影后的点类间相隔较远，而类内比较聚集，这样才能较好地分类。

原样本空间

如样本i的特征向量是xi：
这里写图片描述
其d个特征说明是在d维空间中的列向量，则要寻找的那个投影到的向量也是d维的：
这里写图片描述

在其上的投影，就是两个向量的内积(模乘模乘夹角余弦)：
这里写图片描述
即上图中量段相乘，是一个标量：
这里写图片描述
w向量的模设为一个固定值时，这个标量的值就只和上图中红色段，也就是投影向量和特征向量的夹角有关了。所以这个值可以表征投影后的一维空间上样本的刻度。

原来的d维样本特征空间中的类均值向量：
这里写图片描述

用类内离散度矩阵，即是协方差矩阵的求期望项之和来表征一个类内样本的离散程度：
这里写图片描述
这里之所以不用除以N，是因为它比较的不过是在不同投影向量下的类内离散程度，样本始终这么多，它们都除以N或者都不除以N，不影响比较。

则总的类内离散程度就是用总类内离散度矩阵描述(w是within的意思)：
这里写图片描述
在比较总的类内离散程度时，各个类的离散度矩阵是否要除以自己的样本数是有影响的！之所以不除以样本数，是因为必须考虑到不同类的样本数目差异带来的影响。

而类间的离散程度用类间离散度矩阵描述(b是between的意思)：
这里写图片描述

投影后的一维空间

一维空间中的类内均值也就成了标量：
这里写图片描述

类内离散度也是标量：
这里写图片描述

总类内离散度也是标量：
这里写图片描述

类间离散度也是标量：
这里写图片描述

如何寻优

投影到一维空间以后，为了类间离散度尽可能大，类内离散度尽可能小，可以使用它们的比值作为Fisher准则函数：
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

寻找使其最大的方式有很多(如拉格朗日乘子法)，这里只列出结论：

这里写图片描述
是Fisher判别准则下的最优投影方向，也即未增广的权重向量。

这里写图片描述
是偏置 bais，不考虑先验概率不同，常取：
这里写图片描述

代码实现

#-*-coding:utf-8-*-
from numpy import *
import operator
from matplotlib import pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

#获取男女数据集
def getData(pathstr1,pathstr0):
    #fr1=open(r'myboy.txt')
    #fr0=open(r'mygirl.txt')
    fr1=open(pathstr1)
    fr0=open(pathstr0)
    arrayOLines1=fr1.readlines() #读取文件
    arrayOLines0=fr0.readlines()
    #特征矩阵
    dataMat1=[]
    dataMat0=[]
    #男同学
    for line in arrayOLines1:
        line=line.strip() #strip()去掉首尾空格
        listFromLine=line.split() #按空白字符分割成列表
        #string变float
        for i in range(len(listFromLine)):
            listFromLine[i]=float(listFromLine[i])
        #加入特征矩阵
        dataMat1.append(listFromLine)
    #女同学
    for line in arrayOLines0:
        line=line.strip() #strip()去掉首尾空格
        listFromLine=line.split() #按空白字符分割成列表
        #string变float
        for i in range(len(listFromLine)):
            listFromLine[i]=float(listFromLine[i])
        #加入特征矩阵
        dataMat0.append(listFromLine)
    return dataMat1,dataMat0


#求均值
def getUSgm(xMat):
    #行数1,列数xMat的列数
    u=zeros((1,xMat.shape[1]))
    u=mat(u)
    for vec in xMat:
        u+=vec
    u/=xMat.shape[0] #除以行数
    sgm=zeros((xMat.shape[1],xMat.shape[1]))
    sgm=mat(sgm)
    for vec in xMat:
        cha=vec-u
        sgm+=cha.T*cha
    return u,sgm

#演示
def Go():
    #获取训练集
    dataMat1,dataMat0=getData(r'.\boynew.txt',r'.\girlnew.txt')
    x1=[dataMat1[i][0] for i in range(len(dataMat1))]
    y1=[dataMat1[i][1] for i in range(len(dataMat1))]
    z1=[dataMat1[i][2] for i in range(len(dataMat1))]
    x0=[dataMat0[i][0] for i in range(len(dataMat0))]
    y0=[dataMat0[i][1] for i in range(len(dataMat0))]
    z0=[dataMat0[i][2] for i in range(len(dataMat0))]
    #绘制男女离散的点
    fig=plt.figure()
    ax=Axes3D(fig)
    ax.scatter(x1,y1,z1,c=u'b',label='male')
    ax.scatter(x0,y0,z0,c=u'g',label='female')
    #男女特征矩阵
    xMat1=mat(dataMat1)
    xMat0=mat(dataMat0)
    #均值u,各类离散度矩阵
    u1,sgm1=getUSgm(xMat1)
    u0,sgm0=getUSgm(xMat0)
    #总的类内离散度矩阵
    sw=sgm1+sgm0
    #类间离散度矩阵
    cha=u1-u0
    sb=cha.T*cha
    #权向量(乘完是一个列向量)
    w=sw.I*cha.T
    print '权向量:'
    print w
    u11=w.T*u1.T
    u00=w.T*u0.T
    w0=(-1.0/2)*(float(u11)+float(u00)) #偏置
    print '偏置:',w0
    #绘制决策面
    X=arange(140,210,10) #采样
    Y=arange(30,100,10)
    X,Y=meshgrid(X,Y) #笛卡尔积
    w1=float(w[0,0])
    w2=float(w[1,0])
    w3=float(w[2,0])
    Z=-(w0+w1*X+w2*Y)/w3
    ax.plot_surface(X,Y,Z,rstride=1,cstride=1,cmap='rainbow')
    #给三个坐标轴注明
    ax.set_xlabel('Height',color='r')
    ax.set_ylabel('Weight',color='g')
    ax.set_zlabel('Shoe Size',color='b')
    err,lnth=errTst(w0,w) #传入增广的权向量,以测试错误率
    print lnth,'次测试错误率是:',err/lnth
    plt.show() #显示


#测试,传入的w是列向量!
def errTst(w0,w):
    #获取测试集
    dataMat1,dataMat0=getData(r'.\boytst.txt',r'.\girltst.txt')
    errCount=0.0 #记录错误分类次数
    for line in dataMat1:
        xVec=mat(line) #转换成矩阵(向量)以方便运算
        if xVec*w+w0<0: #对男生而言,<0是错误分类
            errCount+=1
    for line in dataMat0:
        xVec=mat(line)
        if xVec*w+w0>0: #对女生而言,>0是错误分类
            errCount+=1
    #返回测试错误次数,总测试次数
    return errCount,len(dataMat1)+len(dataMat0)

测试

这里写图片描述

这里写图片描述

换个角度看下
这里写图片描述

2018年1月9日更新

低维的情况

这个是一开始做的只有2个特征而且线性可分的情况，可以和感知机得到的线比较一下(和感知机用的训练集相同)。

#-*-coding:utf-8-*-
from numpy import *
import operator
from matplotlib import pyplot as plt

#获取数据
def getData():
    fr1=open(r'myboy.txt')
    fr0=open(r'mygirl.txt')
    arrayOLines1=fr1.readlines() #读取文件
    arrayOLines0=fr0.readlines()
    #特征矩阵
    dataMat1=[]
    dataMat0=[]
    #男同学
    for line in arrayOLines1:
        line=line.strip() #strip()去掉首尾空格
        listFromLine=line.split() #按空白字符分割成列表
        #string变float
        for i in range(len(listFromLine)):
            listFromLine[i]=float(listFromLine[i])
        #加入特征矩阵
        dataMat1.append(listFromLine)
    #女同学
    for line in arrayOLines0:
        line=line.strip() #strip()去掉首尾空格
        listFromLine=line.split() #按空白字符分割成列表
        #string变float
        for i in range(len(listFromLine)):
            listFromLine[i]=float(listFromLine[i])
        #加入特征矩阵
        dataMat0.append(listFromLine)
    return dataMat1,dataMat0


#求均值
def getUSgm(xMat):
    #行数1,列数xMat的列数
    u=zeros((1,xMat.shape[1]))
    u=mat(u)
    for vec in xMat:
        u+=vec
    u/=xMat.shape[0] #除以行数
    sgm=zeros((xMat.shape[1],xMat.shape[1]))
    sgm=mat(sgm)
    for vec in xMat:
        cha=vec-u
        sgm+=cha.T*cha
    return u,sgm

#演示
def Go(i,j):
    dataMat1,dataMat0=getData()
    #i,j号特征在男女类各自的列表
    Ftr1i=[line[i] for line in dataMat1]
    Ftr1j=[line[j] for line in dataMat1]
    Ftr0i=[line[i] for line in dataMat0]
    Ftr0j=[line[j] for line in dataMat0]
    #绘制男女离散的点
    plt.scatter(Ftr1i,Ftr1j,c=u'b',label='male')
    plt.scatter(Ftr0i,Ftr0j,c=u'g',label='female')
    #男的特征矩阵
    xMat1=[[Ftr1i[k],Ftr1j[k]] for k in range(len(Ftr1i))]
    xMat1=mat(xMat1)
    #女的特征矩阵
    xMat0=[[Ftr0i[k],Ftr0j[k]] for k in range(len(Ftr0i))]
    xMat0=mat(xMat0)
    #均值u,各类离散度矩阵
    u1,sgm1=getUSgm(xMat1)
    u0,sgm0=getUSgm(xMat0)
    #总的类内离散度矩阵
    sw=sgm1+sgm0
    #类间离散度矩阵
    cha=u1-u0
    sb=cha.T*cha


    w=sw.I*cha.T #权向量(乘完是一个列向量)
    print w
    u11=w.T*u1.T
    u00=w.T*u0.T
    w0=(-1.0/2)*(float(u11)+float(u00)) #偏置
    print w0

    #绘制曲线用的横坐标(i特征)
    if i==0:
        lft=140
        rgt=210
    elif i==1:
        lft=40
        rgt=90
    else:
        lft=30
        rgt=47
    x1=linspace(lft,rgt,10) #反正是直线,不用采样太多
    #绘制得到的直线
    wi=float(w[0,0])
    wj=float(w[1,0])
    plt.plot(x1,-(wi*x1+w0)/wj,c=u'r')  
    plt.show()

这里写图片描述
这里写图片描述

代码重构

#-*-coding:utf-8-*-
from numpy import *
import operator
from matplotlib import pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

#获取男女数据集
def getData(pathstr1,pathstr0):
    #fr1=open(r'myboy.txt')
    #fr0=open(r'mygirl.txt')
    fr1=open(pathstr1)
    fr0=open(pathstr0)
    arrayOLines1=fr1.readlines() #读取文件
    arrayOLines0=fr0.readlines()
    #特征矩阵
    dataMat1=[]
    dataMat0=[]
    #男同学
    for line in arrayOLines1:
        line=line.strip() #strip()去掉首尾空格
        listFromLine=line.split() #按空白字符分割成列表
        #string变float
        for i in range(len(listFromLine)):
            listFromLine[i]=float(listFromLine[i])
        #加入特征矩阵
        dataMat1.append(listFromLine)
    #女同学
    for line in arrayOLines0:
        line=line.strip() #strip()去掉首尾空格
        listFromLine=line.split() #按空白字符分割成列表
        #string变float
        for i in range(len(listFromLine)):
            listFromLine[i]=float(listFromLine[i])
        #加入特征矩阵
        dataMat0.append(listFromLine)
    return dataMat1,dataMat0


#求均值
def getUSgm(xMat):
    #行数1,列数xMat的列数
    u=zeros((1,xMat.shape[1]))
    u=mat(u)
    for vec in xMat:
        u+=vec
    u/=xMat.shape[0] #除以行数
    sgm=zeros((xMat.shape[1],xMat.shape[1]))
    sgm=mat(sgm)
    for vec in xMat:
        cha=vec-u
        sgm+=cha.T*cha
    return u,sgm

#绘制分类面和散点图
def myFig(dataMat1,dataMat0,w0,w):
    x1=[dataMat1[i][0] for i in range(len(dataMat1))]
    y1=[dataMat1[i][1] for i in range(len(dataMat1))]
    z1=[dataMat1[i][2] for i in range(len(dataMat1))]
    x0=[dataMat0[i][0] for i in range(len(dataMat0))]
    y0=[dataMat0[i][1] for i in range(len(dataMat0))]
    z0=[dataMat0[i][2] for i in range(len(dataMat0))]
    #绘制男女离散的点
    fig=plt.figure()
    ax=Axes3D(fig)
    ax.scatter(x1,y1,z1,c=u'b',label='male')
    ax.scatter(x0,y0,z0,c=u'g',label='female')
    #绘制决策面
    X=arange(140,210,10) #采样
    Y=arange(30,100,10)
    X,Y=meshgrid(X,Y) #笛卡尔积
    w1=float(w[0,0])
    w2=float(w[1,0])
    w3=float(w[2,0])
    Z=-(w0+w1*X+w2*Y)/w3
    ax.plot_surface(X,Y,Z,rstride=1,cstride=1,cmap='rainbow')
    #给三个坐标轴注明
    ax.set_xlabel('Height',color='r')
    ax.set_ylabel('Weight',color='g')
    ax.set_zlabel('Shoe Size',color='b')
    plt.show() #显示

#训练(获取偏置和权向量)
def Train(dataMat1,dataMat0):
    #男女特征矩阵
    xMat1=mat(dataMat1)
    xMat0=mat(dataMat0)
    #均值u,各类离散度矩阵
    u1,sgm1=getUSgm(xMat1)
    u0,sgm0=getUSgm(xMat0)
    #总的类内离散度矩阵
    sw=sgm1+sgm0
    #类间离散度矩阵
    cha=u1-u0
    sb=cha.T*cha
    #计算权向量(乘完是一个列向量)
    w=sw.I*cha.T
    #计算偏置
    u11=w.T*u1.T
    u00=w.T*u0.T
    w0=(-1.0/2)*(float(u11)+float(u00))
    return w0,w

#演示入口
def Go():
    #获取训练集
    dataMat1,dataMat0=getData(r'.\boynew.txt',r'.\girlnew.txt')
    #训练
    w0,w=Train(dataMat1,dataMat0)
    print '权向量:'
    print w
    print '偏置:',w0
    err,lnth=errTst(w0,w) #传入增广的权向量,以测试错误率
    print lnth,'次测试错误率是:',err/lnth
    myFig(dataMat1,dataMat0,w0,w) #绘制散点图和分类面
    return w0,w


#测试,传入的w是列向量!
def errTst(w0,w):
    #获取测试集
    dataMat1,dataMat0=getData(r'.\boytst.txt',r'.\girltst.txt')
    errCount=0.0 #记录错误分类次数
    for line in dataMat1:
        xVec=mat(line) #转换成矩阵(向量)以方便运算
        if xVec*w+w0<0: #对男生而言,<0是错误分类
            errCount+=1
    for line in dataMat0:
        xVec=mat(line)
        if xVec*w+w0>0: #对女生而言,>0是错误分类
            errCount+=1
    #返回测试错误次数,总测试次数
    return errCount,len(dataMat1)+len(dataMat0)

#绘制ROC曲线
def getROC(w0,w):
    #绘制ROC曲线用的采样点
    X=[]
    Y=[]
    #分类面采样阈值从w0-0.1到w0+0.1,步长0.001
    #但range只能用int类型,所以乘以1000倍,传入时再除以1000
    for b in range(int(1000*w0-100),int(1000*w0+100),1):
            #获取假阳率和真阳率
            FPR,RECALL=getFprRecall(float(b)/1000,w)
            #分别加入到坐标采样列表中
            X.append(FPR)
            Y.append(RECALL)
    #绘制ROC曲线
    plt.plot(X,Y,"g-",linewidth=2)
    #横纵坐标名称,标题名称
    plt.xlabel('FPR')
    plt.ylabel('RECALL')
    plt.show()

#获取假阳性率FPR和召回率RECALL
def getFprRecall(w0,w):
    #获取测试集
    dataMat1,dataMat0=getData(r'.\boytst.txt',r'.\girltst.txt')
    errPstv=0.0 #记录假阳性样本数
    relPstv=0.0 #记录真阳性样本数
    for line in dataMat1:
        xVec=mat(line) #转换成矩阵(向量)以方便运算
        if xVec*w+w0>0: #对男生而言,>0正确分类是真阳性样本
            relPstv+=1
    for line in dataMat0:
        xVec=mat(line)
        if xVec*w+w0>0: #对女生而言,>0错误分类是假阳性样本
            errPstv+=1
    #print errPstv,relPstv
    return errPstv/len(dataMat0),relPstv/len(dataMat1)

#留一法获取交叉验证错误率
def getCrossValidationOnly1():
    print '正在进行留一法交叉验证...'
    #重获训练集
    dataMat1,dataMat0=getData(r'.\boynew.txt',r'.\girlnew.txt')
    '''
    #建立标签向量
    labelVec1=[1 for i in range(len(dataMat1))]
    labelVec0=[-1 for i in range(len(dataMat0))]
    #标签向量合并
    labelVec=labelVec1 #用男的
    labelVec.extend(labelVec0) #合并女的
    #训练集合并
    dataMat=dataMat1
    dataMat.extend(dataMat0)
    '''
    errCount=0.0 #错误分类次数
    #遍历作留一法交叉验证
    #发挥python特性,用切片合并的方式获取新的训练集子集
    #留的是男生
    for i in range(len(dataMat1)):
        subMat=dataMat1[0:i]
        subMat_End=dataMat1[i+1:]
        subMat.extend(subMat_End) #男生抽离第i个
        w0,w=Train(subMat,dataMat0) #训练
        xVec=mat(dataMat1[i])
        if xVec*w+w0<0: #对男生而言,<0是错误分类
            errCount+=1
    #留的是女生
    for i in range(len(dataMat0)):
        subMat=dataMat0[0:i]
        subMat_End=dataMat0[i+1:]
        subMat.extend(subMat_End) #女生抽离第i个
        w0,w=Train(dataMat1,subMat) #训练
        xVec=mat(dataMat0[i])
        if xVec*w+w0>0: #对女生而言,>0是错误分类
            errCount+=1
    lnth=len(dataMat1)+len(dataMat0)
    print lnth,'个样本的留一法交叉验证错误率:',errCount/lnth

这里写图片描述
(散点和分类面图没变，不贴了)
这里写图片描述
这里写图片描述

大桔骑士v
关注
专栏目录
一文搞定机器学习中的“模型可解释性”
风口IT猪的成长录
04-25 268
机器学习是最近许多科技进步的核心。随着计算机在围棋等游戏中击败专业人士，许多人开始询问，机器是否也能成为更好的司机，甚至更好的医生。如果⼀个机器学习模型运⾏良好，为什么我们仅仅信任该模型⽽忽略为什么做出特定的决策呢？诸如分类准确性之类的单⼀指标⽆法完整地描述⼤多数实际任务。当涉及到预测模型时，需要作出权衡：**你是只想知道预测是什么？**例如，客户流失的概率或某种药物对病⼈的疗效。**还是想知道为什么做出这样的预测？**这种情况下可能为了可解释性付出预测性能下降的代价。
阅读笔记：《Python机器学习及实战》
ScarlettYellow的博客
05-25 2207
Abstract：这本书面向的是对机器学习和数据挖掘实践及竞赛感兴趣的读者，以python为基础从零开始，在不涉及数学模型和复杂编程知识的前提下，逐步学习和掌握机器学习、数据挖掘、自然语言处理工具，如scikit-learn、NLTK、Pandas、TensorFlow等。 全书分为4章：简介篇：机器学习概念和python编程知识基础篇：如何使用scikit-Learn作为基础机器学习工具进阶篇：...
线性判别分析（LDA）
chlele0105的专栏
10-24 2万+
上一节介绍了PCA算法，PCA的目标是希望降维后的数据能够保持最多的信息，而Discriminant Analysis所追求的目标与PCA不同，它希望数据在降维后能够很容易地被区分开来。           一． LDA算法概述：      线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Di
【LDA】线性判别式分析
weixin_34290390的博客
06-04 142
1. LDA是什么       线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。      基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的...
[监督学习]线性判别式分析(LDA)
OnePlus+博客
07-14 794
线性判别式算法（LDA） LDA算法和PCA算法都是一种数据压缩的算法，由于前者属于无监督学习而后者属于监督学习，根据任务的不同，因而它们的侧重点不同，PCA算法关心的是原数据与新数据之间的最小重构误差，而LDA算法关注的是数据压缩后类别间的区分度。 从上图中可以看出，LDA算法希望找到一个投影的方向，使得类别间中心点尽可能分散，而每一类的样本尽可能聚集，如果说PCA算法的优化准则是最小重构误差，则LDA的准则就是最小化类内方差、最大化类间均值。 那我们该如何去选择这个投影方向呢？我们不妨先从数学原理出发
线性判别分析（Linear Discriminant Analysis）
Daunxx的专栏
07-11 7万+
从贝叶斯公式出发，得到了线性判别分析的公式，这里从另外一个角度来看线性判别分析，也就是常说的Fisher判别式。其实Fisher判别式就是线性判别分析（LDA），只是在讨论Fisher判别式的时候，更侧重于LDA的数据降维的能力。
Python机器学习笔记：不得不了解的机器学习面试知识点（1）
weixin_30540691的博客
09-22 3025
　　机器学习岗位的面试中通常会对一些常见的机器学习算法和思想进行提问，在平时的学习过程中可能对算法的理论，注意点，区别会有一定的认识，但是这些知识可能不系统，在回答的时候未必能在短时间内答出自己的认识，因此将机器学习中常见的原理性问题记录下来，保持对各个机器学习算法原理和特点的熟练度。 　　本文总结了机器学习一些面试题和笔试题，以便自己学习，当然了也为了方便大家，题目是网上找的额，如果有侵权请联...
数据科学学习笔记8 --- 分类（有监督的学习）
Y_Cxhiao的博客
06-10 2021
数据挖掘十大算法中的C4.5 和 CART（分类和回归树）算法都是决策树算法。其他常用的决策树算法有C5.0、Fuzzy C4.5、SLIQ（Mehta 1996）、SPRINT（Shafer 1996）等。 1 决策树算法 · 决策树是一种由节点和有向边组成的层次结构，如下图所示，树中包含三种节点 · 根节点（Root node），没有入边，但有零条或者多条出边 · 内部
DS&ML_特征工程笔记
S_gy_Zetrov的博客
04-04 725
特征工程从零到整学习笔记 部分转自http://www.cnblogs.com/jasonfreak/p/5448385.html， 加入了我自己的理解和总结，全文偏理论，若追求代码请转去该文章。 特征工程定义 特征工程，是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。以期减少算法模型受到的（如噪声的）干扰。 有一句话叫做数据和特征决定了机器学习的上限，而模型和...
如何确定LDA的topic个数
yt71656的专栏
11-24 1万+
如何科学的确定topic个数： 1.用perplexity-topic number曲线 2.计算topic之间的相似度 3.利用HDP
用k折交叉验证LDA（LinearDiscriminantAnalysis）的有效性
最新发布
m0_61901200的博客
10-09 146
数据集：Iris数据共3类，4维，150个数据。
史上最好的LDA(线性判别分析)教程
热门推荐
jnulzl的专栏
11-17 9万+
一、前言最近由于研究需要，要用到线性判别分析(LDA)。于是找了很多资料来看，结果发现大部分讲的都是理论知识，因此最后还是看的一知半解，后来终于找到了个英文的文档，作者由PCA引入LDA，看过后豁然开朗，主要是文档中有详细的例子，为了保持原版在此就直接粘贴过来了——后面的例子是结合MATLAB实现的！二、LDA理论详解 三、LDA实例详解下面是作者文档中配的
线性判别式分析（LDA）原理分析
小小鹿luby的博客
05-13 1806
转：https://blog.csdn.net/jnulzl/article/details/49894041由于研究需要用到线性判别式分析，看过许多理论推导后，整理了如下笔记方便之后复习。线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（FisherLinear Discriminant，FLD），是模式识别的经典算法，在199...
主成成分分析-PCA
开开_王子的博客
08-15 1032
1、 问题描述 下表1是某些学生的语文、数学、物理、化学成绩统计： 首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系。那么一眼就能看出来，数学、物理、化学这三门课的成绩构成了这组数据的主成分（很显然，数学作为第一主成分，因为数学成绩拉的最开）。为什么一眼能看出来？因为坐标轴选对了！下面再看一组学生的数学、物理、化学、语文、历史、英语成绩统计，见表2，还能不能一眼看出来
【机器学习】LDA线性判别分析原理及实例
brucewong0516的博客
12-01 1万+
LDA线性判别分析也是一种经典的降维方法，LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是投影后类内方差最小，类间方差最大。什么意思呢？ 我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心。
留一法LDA
todingdong的博客
04-09 347
留一 https://blog.csdn.net/catherined/article/details/82015857 cv岗位 - 机器学习面试知识总结（不断更新）https://blog.csdn.net/e01528/article/details/89221713#LDA线性判别分析 ...
谈谈判别式模型与生成式模型
黄飞的博客专栏
04-06 7607
判别式模型与生成式模型是机器学习领域中的基本概念，今天将两者的特点总结一下，如下表所示： 对比 判别式模型 生成式模型 特点 寻找不同类别之间的最优分类面，反映异类数据之间的差异 以统计的角度表示数据的分布情况，能够反映同类数据本身的相似度 区别（假如输入特征x,类别标签y） 估计的是条件概率分布：P(y|x) 估计的是联合概率分布 P(x,y) 联系 由判
机器学习中的判别式模型及生成式模型
uncle_ll的博客
07-14 910
判别式模型(Discriminative Model)  逻辑回归（Logistic regression） 线性判别分析（Linear discriminant analysis） 支持向量机（Supportvector machines） Boosting） 条件随机场（Conditional random fields） 线性回归（Linear regression）  神
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值