线性判别准则与线性分类编程实践

最新推荐文章于 2024-09-22 23:14:25 发布
最新推荐文章于 2024-09-22 23:14:25 发布
阅读量145 收藏
点赞数
文章标签： 分类 python 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzh1415926/article/details/121169659
版权
本文详细介绍了LDA算法的Python代码实现，包括从数据集构造到训练过程，以及使用sklearn库的实现。同时，通过月亮数据集展示了LDA的可视化效果，对比了k-means和SVM的聚类表现。最后，总结了LDA和SVM的算法原理及应用场景。
摘要由CSDN通过智能技术生成

目录

一、LDA算法代码实现

1、python编程实现

（1）引入相关库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

#计算均值,要求输入数据为numpy的矩阵格式，行表示样本数，列表示特征    
def meanX(data):
    return np.mean(data, axis=0) #axis=0表示按照列来求均值，如果输入list,则axis=1

在这里插入图片描述

（2）LDA算法实现

#计算类内离散度矩阵子项si
def compute_si(xi):
    n = xi.shape[0]
    ui = meanX(xi)
    si = 0
    for i in range(0, n):
        si = si + ( xi[i, :] - ui).T * (xi[i, :] - ui )   
    return si

#计算类间离散度矩阵Sb
def compute_Sb(x1, x2):
    dataX=np.vstack((x1,x2))#合并样本   
    print ("dataX:", dataX)
    #计算均值
    u1=meanX(x1)
    u2=meanX(x2)    
    u=meanX(dataX) #所有样本的均值
    Sb = (u-u1).T * (u-u1) + (u-u2).T * (u-u2)
    return Sb
    
        
def LDA(x1, x2):
    #计算类内离散度矩阵Sw
    s1 = compute_si(x1)
    s2 = compute_si(x2)     
    #Sw=(n1*s1+n2*s2)/(n1+n2)
    Sw = s1 + s2
    
    #计算类间离散度矩阵Sb
    #Sb=(n1*(m-m1).T*(m-m1)+n2*(m-m2).T*(m-m2))/(n1+n2)
    Sb = compute_Sb(x1, x2)
    
    #求最大特征值对应的特征向量    
    eig_value, vec = np.linalg.eig(np.mat(Sw).I*Sb)#特征值和特征向量
    index_vec = np.argsort(-eig_value)#对eig_value从大到小排序，返回索引
    eig_index = index_vec[:1] #取出最大的特征值的索引
    w = vec[:, eig_index] #取出最大的特征值对应的特征向量
    return w

在这里插入图片描述

（3）构造数据集

def createDataSet():  
    X1 = np.mat(np.random.random((8, 2)) * 5 + 15)  #类别A
    X2 = np.mat(np.random.random((8, 2)) * 5 + 2)   #类别B
    return X1, X2  

x1, x2 = createDataSet()

print(x1,x2)

在这里插入图片描述

（4）LDA训练

w = LDA(x1, x2)
print("w:",w)

在这里插入图片描述

# 编写一个绘图函数
def plotFig(group):  
    fig = plt.figure()  
    plt.ylim(0, 30)  
    plt.xlim(0, 30)  
    ax = fig.add_subplot(111)  
    ax.scatter(group[0,:].tolist(), group[1,:].tolist())  
    plt.show()  

#绘制图形
plotFig(np.hstack((x1.T, x2.T)))

在这里插入图片描述

（5）实例测试

test2 = np.mat([2, 8]) 
g = np.dot(w.T, test2.T - 0.5 * (meanX(x1)-meanX(x2)).T)  
print("Output: ", g  )

在这里插入图片描述

2、sklearn 库实现

#coding=utf-8

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn import datasets
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
import numpy as np

def main():
    iris = datasets.load_iris() #典型分类数据模型
    #这里我们数据统一用pandas处理
    data = pd.DataFrame(iris.data, columns=iris.feature_names)
    data['class'] = iris.target
    
    #这里只取两类
#     data = data[data['class']!=2]
    #为了可视化方便，这里取两个属性为例
    X = data[data.columns.drop('class')]
    Y = data['class']
    
    #划分数据集
    X_train, X_test, Y_train, Y_test =train_test_split(X, Y)
    lda = LinearDiscriminantAnalysis(n_components=2)
    lda.fit(X_train, Y_train)
    
    #显示训练结果
    print (lda.means_) #中心点
    print (lda.score(X_test, Y_test))#score是指分类的正确率
    print (lda.scalings_) #score是指分类的正确率

    X_2d = lda.transform(X) #现在已经降到二维X_2d=np.dot(X-lda.xbar_,lda.scalings_)
    #对于二维数据，我们做个可视化
    #区域划分
    lda.fit(X_2d,Y)
    h = 0.02
    x_min, x_max = X_2d[:, 0].min() - 1, X_2d[:, 0].max() + 1
    y_min, y_max = X_2d[:, 1].min() - 1, X_2d[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                         np.arange(y_min, y_max, h))
    Z = lda.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    plt.contourf(xx, yy, Z, cmap=plt.cm.Paired)

    #做出原来的散点图
    class1_x = X_2d[Y==0,0]
    class1_y = X_2d[Y==0,1]
    l1 = plt.scatter(class1_x,class1_y,color='b',label=iris.target_names[0])
    class1_x = X_2d[Y==1,0]
    class1_y = X_2d[Y==1,1]
    l2 = plt.scatter(class1_x,class1_y,color='y',label=iris.target_names[1])
    class1_x = X_2d[Y==2,0]
    class1_y = X_2d[Y==2,1]
    l3 = plt.scatter(class1_x,class1_y,color='r',label=iris.target_names[2])
    
    plt.legend(handles = [l1, l2, l3], loc = 'best')
    
    plt.grid(True)
    plt.show()

if __name__ == '__main__':
    main()

在这里插入图片描述

二、月亮数据集算法可视化

1、使用线性LDA对月亮数据集聚类

#基于线性LDA算法对月亮数据集进行分类
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_moons
from mpl_toolkits.mplot3d import Axes3D
def LDA(X, y):
    X1 = np.array([X[i] for i in range(len(X)) if y[i] == 0])
    X2 = np.array([X[i] for i in range(len(X)) if y[i] == 1])
    len1 = len(X1)
    len2 = len(X2)
    mju1 = np.mean(X1, axis=0)#求中心点
    mju2 = np.mean(X2, axis=0)
    cov1 = np.dot((X1 - mju1).T, (X1 - mju1))
    cov2 = np.dot((X2 - mju2).T, (X2 - mju2))
    Sw = cov1 + cov2
    w = np.dot(np.mat(Sw).I,(mju1 - mju2).reshape((len(mju1),1)))# 计算w
    X1_new = func(X1, w)
    X2_new = func(X2, w)
    y1_new = [1 for i in range(len1)]
    y2_new = [2 for i in range(len2)]
    return X1_new, X2_new, y1_new, y2_new
def func(x, w):
    return np.dot((x), w)
if '__main__' == __name__:
    X, y = make_moons(n_samples=100, noise=0.15, random_state=42)
    X1_new, X2_new, y1_new, y2_new = LDA(X, y)
    plt.scatter(X[:, 0], X[:, 1], marker='o', c=y)
    plt.show()

在这里插入图片描述

2、使用k-means对鸢尾花数据集聚类

# -*- coding:utf-8 -*-
from sklearn.datasets import make_moons
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
 
# 导入月亮型数据(证明kmean不能很好对其进行聚类)
X,y = make_moons(n_samples=200,random_state=0,noise=0.05)
print(X.shape)
print(y.shape)
plt.scatter(X[:,0],X[:,1])
kmeans = KMeans(n_clusters=2)
kmeans.fit(X)
y_pred = kmeans.predict(X)
cluster_center = kmeans.cluster_centers_
plt.scatter(X[:,0],X[:,1],c=y_pred)
plt.scatter(cluster_center[:,0],cluster_center[:,1],marker='^',linewidth=4)
plt.show()

在这里插入图片描述

3、使用SVM对月亮数据集聚类

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
from sklearn.datasets import make_moons

# 导入数据集
X,y = make_moons(n_samples=200,random_state=0,noise=0.05)

h = .02  # 网格中的步长

# 创建支持向量机实例，并拟合出数据
C = 1.0  # SVM正则化参数
svc = svm.SVC(kernel='linear', C=C).fit(X, y) # 线性核
rbf_svc = svm.SVC(kernel='rbf', gamma=0.7, C=C).fit(X, y) # 径向基核
poly_svc = svm.SVC(kernel='poly', degree=3, C=C).fit(X, y) # 多项式核
lin_svc = svm.LinearSVC(C=C).fit(X, y) #线性核

# 创建网格，以绘制图像
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                     np.arange(y_min, y_max, h))

# 图的标题
titles = ['SVC with linear kernel',
          'LinearSVC (linear kernel)',
          'SVC with RBF kernel',
          'SVC with polynomial (degree 3) kernel']


for i, clf in enumerate((svc, lin_svc, rbf_svc, poly_svc)):
    # 绘出决策边界，不同的区域分配不同的颜色
    plt.subplot(2, 2, i + 1) # 创建一个2行2列的图，并以第i个图为当前图
    plt.subplots_adjust(wspace=0.4, hspace=0.4) # 设置子图间隔

    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) #将xx和yy中的元素组成一对对坐标，作为支持向量机的输入，返回一个array
    
    # 把分类结果绘制出来
    Z = Z.reshape(xx.shape) #(220, 280)
    plt.contourf(xx, yy, Z, cmap=plt.cm.Paired, alpha=0.8) #使用等高线的函数将不同的区域绘制出来

    # 将训练数据以离散点的形式绘制出来
    plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Paired)
    plt.xlabel('Sepal length')
    plt.ylabel('Sepal width')
    plt.xlim(xx.min(), xx.max())
    plt.ylim(yy.min(), yy.max())
    plt.xticks(())
    plt.yticks(())
    plt.title(titles[i])

plt.show()

在这里插入图片描述

三、总结

本次实验主要使我理解了LDA算法以及SVM算法的原理思路以及各自的优缺点，以及其实现方法，过程还是较为顺利。

春风浅作序
关注
用python实现fisher线性判别_LDA 两类Fisher线性判别分析及python实现
weixin_39779032的博客
12-15 435
参考：《模式识别》(第三版)第4.3章－Fisher线性判别分析机器学习中的数学(4)－线性判别分析(LDA)，主成分分析(PCA)：http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html线性判别分析LDA：http://www.cnblogs.com/zhangchaoyang...
pca降维算法
leaf13的博客
08-20 527
PCA主成分分析算法，是一种线性降维，将高维坐标系映射到低维坐标系中。 如何选择低维坐标系呢？ 通过协方差矩阵的特征值和特征向量，特征向量代表坐标系，特征值代表映射到新坐标的长度。 算法步骤： 输入：样本集D={x1,x2,…,xm}； 低维空间维数k 第一步：将样本集中心化。每一列的特征值减去当前列的均值 第二步：求协方差矩阵的特征值和特征向量 协方差矩阵：矩阵×矩阵的转置； 方法：np.dot...
机器学习 LDA线性判别分析(Python实现)
BTboay
06-18 9382
LDA线性判别分析的思想十分简单，将给定的训练样例集投影到一条直线上，我们希望投影过后，不同类的数据点尽量远离，同类数据点尽量聚合。设Xi表示i类数据的集合i∈(0,1)，μi为i类数据集合的均值向量 类内散度的定义： 使用方差来度量类内的离散程度，因为都是向量表示形式，所以平方和用向量乘向量的转置表示 类间散度矩阵： 使用均值的方差表示两种数据类之间的离散程度 我们要...
线性判别准则与线性分类
qq_45659777的博客
10-29 1061
文章目录一.线性判别准则（LDA）二.线性分类算法支持向量机（SVM）三.编程实践1.编程生成模拟数据集，进行LDA算法练习LDA算法处理鸢尾花数据集：处理月亮数据集：2.对月亮数据集进行SVM分类四.总结五.参考链接 一.线性判别准则（LDA） LDA是一种监督学习的降维技术。也就是说它的数据集的每个样本是有类别输出的，这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。 LDA算法既可以用来降维，又可以用来分类，但是目前来
分类评估指标：准确率、精确度、召回率、F1分数、Roc详解
m0_61688615的博客
09-18 1165
准确率：数据集正负样本平衡时可用。精确率：当误判正类样本代价较高时使用（正常邮件被误分类为垃圾邮件）。召回率：当漏判正类样本代价较高时使用（疾病检测中，不希望漏筛病例）。F1 分数：当需要在精确率和召回率之间取得平衡时使用，尤其适合样本类别不均衡的情况。
数据结构-树（基础，分类，遍历）
nice66660的博客
09-15 1337
在计算机科学中，树是一种常用的非线性数据结构，用于表示具有层次关系的数据。与线性数据结构（如数组和链表）不同，树结构以节点（Nodes）和边（Edges）组成，通过根节点（Root Node）进行组织。每个节点可以有零个或多个子节点，形成一系列层级结构。根节点（Root）：树的最上层节点，没有父节点。节点（Node）：树中的基本单元，包含数据和指向子节点的引用。子节点（Child）：直接连接到某一节点的节点。父节点（Parent）：直接连接到子节点的节点。叶节点（Leaf）：没有子节点的节点。
专业学习｜《随机过程》学习笔记（二）（定义、分类及相关过程）
weixin_63253486的博客
09-22 554
本片博客继上一篇学习指引文之后，强调介绍了随机过程的分类，让读者能对随机过程、随机过程的分类有一个系统了解，其中还补充了一些基础知识以便读者了解推导过程。
多分类任务中如何使用facal loss
Rory的博客
09-22 413
Focal Loss 在多分类问题中，通过对难分类样本赋予更高的损失权重，来减少容易分类样本对模型训练的干扰，常用于类别不平衡的任务，如目标检测等。
软件测试分类篇（下）
天行健、君子以自强不息
09-22 605
软件测试分类方式
[机器学习]04-逻辑回归（python）-03-API与癌症分类案例讲解
最新发布
weixin_41645791的博客
09-22 679
Logistic Regression） 的一API 介绍关于如何配置模型中的优化器、正则化和惩罚项。
简单题101. 对称二叉树 （python）20240922
Sep21m_wyy的博客
09-22 216
【代码】简单题101. 对称二叉树 （python）20240922。
Pandas的入门操作-Series对象
weixin_58305115的博客
09-18 734
data参数data是Series构造函数中最主要的参数，它用来指定要存储在Series中的数据。data可以是多种数据类型，例如：Python 列表（list）或元组（tuple），如pd.Series([1, 2, 3])或pd.Series((4, 5, 6))。NumPy 数组，例如pd.Series(np.array([7, 8, 9]))。标量值（单个数值、字符串等），如pd.Series(5, index=[0, 1, 2])，这将创建一个包含相同标量值的Series。
Leetcode 2183. 统计可以被 K 整除的下标对数目
m0_51437455的博客
09-17 156
第二步，理论：两个数字的乘积能被k整除 两个数字各自与k的最大公约数的乘积能被k整除。循环两层遍历最大公约数，获取两两组合的频数乘积的和。在这里，对于合法的(i,j)对，会被枚举两次，(i,j)和(j,i)两对相同；同时对于不合法的(i,i)对，会被枚举一次。第四步，result除以2，消除(i,j)和(j,i)重复对的影响，并返回结果。nums[i] * nums[j] 能被 k 整除。第三步，去掉多枚举的不合法的(i,i)对。哈希表 + 辗转相除法求最大公约数。
Python——俄罗斯方块
2302_81225694的博客
09-14 2471
这段代码使用了Pygame库来实现游戏的图形界面，通过键盘控制方块的移动和旋转。游戏循环不断更新方块的位置和网格状态，并绘制在屏幕上。在方块达到底部或无法继续移动时，判断是否有满行，并清除满行的方块。游戏会根据方块的状态和移动情况不断更新，直到无法继续下落为止，游戏结束。俄罗斯方块游戏是一款经典的益智游戏，通常使用编程语言Python来实现。请注意，这只是一个简单的示例，可能还有一些功能和优化方面的改进。您可以根据自己的需求进行修改和扩展。
文档内容识别系统源码分享
xuehaishijue的博客
09-17 1755
数据集信息展示在当今信息爆炸的时代，文档内容识别系统的有效性和准确性愈发重要。为了提升YOLOv8在文档内容识别任务中的表现，我们采用了名为“FULL 2”的数据集进行训练和评估。该数据集专为文档图像的多样性和复杂性而设计，涵盖了多种类别的文本元素，使其成为优化深度学习模型的理想选择。
计算机毕业设计推荐-基于Java的小区物业管理系统
BYSJLG的博客
09-17 1074
研究背景和必要性当前，小区物业管理已经成为居民生活质量的重要保障，随着社会的发展和生活水平的提升，人们对居住环境的要求不断提高。传统的小区物业管理模式依赖于人工登记、纸质记录和电话沟通，管理效率低下，数据容易丢失且更新不及时。此外，业主与物业之间的沟通渠道单一，信息反馈速度慢，极大影响了管理的整体效果。因此，建立一个高效、便捷的小区物业管理系统已成为迫切需求。现有的小区物业管理解决方案普遍采用人工操作和简单的信息化管理方式，缺乏统一的管理平台，存在系统功能不全、数据处理能力弱、用户体验差等问题。
2024.9.16 day 1 pytorch安装及环境配置
m0_58285219的博客
09-16 665
pytorch安装及环境配置
Fisher线性判别法：降维与样本分类实践
实验1的目标是让学生亲手实践Fisher线性判别算法，通过编写程序来理解其工作原理。首先，参与者需要改写一个通用函数，该函数接受三维数据并计算最优投影方向W，以确保在降维后仍能保持样本的线性可分性。接着，他们...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值