鸢尾花和月亮数据集，运用线性LDA、k-means和SVM算法进行二分类可视化分析

最新推荐文章于 2023-09-21 21:39:14 发布
最新推荐文章于 2023-09-21 21:39:14 发布
阅读量771 收藏 8
点赞数
分类专栏： 人工智能与机器学习 文章标签： 聚类 机器学习 python 支持向量机 svm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Time_book/article/details/106217342
版权

文章目录

一、线性LDA

1.鸢尾花LDA

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets

def LDA(X, y):
    #根据y等于0或1分类
    X1 = np.array([X[i] for i in range(len(X)) if y[i] == 0])
    X2 = np.array([X[i] for i in range(len(X)) if y[i] == 1])
    len1 = len(X1)
    len2 = len(X2) 
    mju1 = np.mean(X1, axis=0)#求中心点
    mju2 = np.mean(X2, axis=0)
    cov1 = np.dot((X1 - mju1).T, (X1 - mju1))
    cov2=np.dot((X2 - mju2).T, (X2 - mju2))
    Sw = cov1 + cov2
    a=mju1-mju2
    a=(np.array([a])).T
    w=(np.dot(np.linalg.inv(Sw),a))
    X1_new =func(X1, w)
    X2_new = func(X2, w)
    y1_new = [1 for i in range(len1)]
    y2_new = [2 for i in range(len2)]
    return X1_new,X2_new,y1_new,y2_new
def func(x, w):
    return np.dot((x), w)

iris = datasets.load_iris()
X = iris["data"][:, (2, 3)]  # 花瓣长度与花瓣宽度  petal length, petal width
y = iris["target"]
#print(y)
setosa_or_versicolor = (y == 0) | (y == 1)
X = X[setosa_or_versicolor]
y = y[setosa_or_versicolor]
#print(Sw)
x1_new, X2_new, y1_new, y2_new = LDA(X, y)
plt.xlabel('花瓣长度')
plt.ylabel('花瓣宽度')
plt.rcParams['font.sans-serif']=['SimHei'] #显示中文标签
plt.rcParams['axes.unicode_minus']=False
plt.scatter(X[:, 0], X[:, 1], marker='o', c=y)
plt.title("Iris_LDA")
plt.show()

在这里插入图片描述

2.月亮集LDA

def LDA(X, y):
    #根据y等于0或1分类
    X1 = np.array([X[i] for i in range(len(X)) if y[i] == 0])
    X2 = np.array([X[i] for i in range(len(X)) if y[i] == 1])
    len1 = len(X1)
    len2 = len(X2) 
    mju1 = np.mean(X1, axis=0)#求中心点
    mju2 = np.mean(X2, axis=0)
    cov1 = np.dot((X1 - mju1).T, (X1 - mju1))
    cov2=np.dot((X2 - mju2).T, (X2 - mju2))
    Sw = cov1 + cov2
    a=mju1-mju2
    a=(np.array([a])).T
    w=(np.dot(np.linalg.inv(Sw),a))
    X1_new =func(X1, w)
    X2_new = func(X2, w)
    y1_new = [1 for i in range(len1)]
    y2_new = [2 for i in range(len2)]
def func(x, w):
    return np.dot((x), w)
X, y = datasets.make_moons(n_samples=100, noise=0.15, random_state=42)
plt.scatter(X[:, 0], X[:, 1], marker='o', c=y)
plt.title("moon_LDA")
plt.show()

在这里插入图片描述

二、K-means

1.鸢尾花k-means

from sklearn import datasets
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
 
#加载数据集，是一个字典类似Java中的map
lris_df = datasets.load_iris()
 
#挑选出前两个维度作为x轴和y轴，你也可以选择其他维度
x_axis = lris_df.data[:,0]
y_axis = lris_df.data[:,2]
 
 
model = KMeans(n_clusters=2)
 
#训练模型
model.fit(lris_df.data)
 
#选取行标为100的那条数据，进行预测
prddicted_label= model.predict([[6.3, 3.3, 6, 2.5]])
 
#预测全部150条数据
all_predictions = model.predict(lris_df.data)
 
#打印出来对150条数据的聚类散点图
plt.scatter(x_axis, y_axis, c=all_predictions)
plt.title("Iris_KMeans")  
plt.show()

在这里插入图片描述

2.月亮集k-means

#基于k-means算法对月亮数据集进行分类
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.datasets import make_moons
from sklearn.pipeline import Pipeline
import numpy as np
X,y=make_moons(n_samples=100,shuffle=True,noise=0.15,random_state=42)
clf = KMeans(n_clusters=2)
clf.fit(X,y)
predicted = clf.predict(X)   
plt.scatter(X[:,0], X[:,1], c=predicted, marker='s',s=100,cmap=plt.cm.Paired)    
plt.title("Moon_KMeans")    
plt.show()

在这里插入图片描述

三、SVM

1.鸢尾花svm

from sklearn.svm import SVC
from sklearn import datasets

iris = datasets.load_iris()
X = iris["data"][:, (2, 3)]  # petal length, petal width
y = iris["target"]

setosa_or_versicolor = (y == 0) | (y == 1)
X = X[setosa_or_versicolor]
y = y[setosa_or_versicolor]

# SVM Classifier model
svm_clf = SVC(kernel="linear", C=float("inf"))
svm_clf.fit(X, y)

在这里插入图片描述

def plot_svc_decision_boundary(svm_clf, xmin, xmax):
    # 获取决策边界的w和b
    w = svm_clf.coef_[0]
    b = svm_clf.intercept_[0]

    # At the decision boundary, w0*x0 + w1*x1 + b = 0
    # => x1 = -w0/w1 * x0 - b/w1
    x0 = np.linspace(xmin, xmax, 200)
    # 画中间的粗线
    decision_boundary = -w[0]/w[1] * x0 - b/w[1]
    # 计算间隔
    margin = 1/w[1]
    gutter_up = decision_boundary + margin
    gutter_down = decision_boundary - margin
    # 获取支持向量
    svs = svm_clf.support_vectors_
    plt.scatter(svs[:, 0], svs[:, 1], s=180, facecolors='#FFAAAA')
    plt.plot(x0, decision_boundary, "k-", linewidth=2)
    plt.plot(x0, gutter_up, "k--", linewidth=2)
    plt.plot(x0, gutter_down, "k--", linewidth=2)

# Bad models
x0 = np.linspace(0, 5.5, 200)


plt.figure(figsize=(12,2.7))

plt.axis([0, 5.5, 0, 2])

plt.subplot(122)
plot_svc_decision_boundary(svm_clf, 0, 5.5)
plt.plot(X[:, 0][y==1], X[:, 1][y==1], "bs")
plt.plot(X[:, 0][y==0], X[:, 1][y==0], "yo")
plt.xlabel("Petal length", fontsize=14)
plt.axis([0, 5.5, 0, 2])
plt.title("Iris_svm")
plt.show()

在这里插入图片描述

2.月亮集svm

from sklearn.datasets import make_moons
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
import numpy as np
from sklearn import datasets
from sklearn.preprocessing import StandardScaler
from sklearn.svm import LinearSVC
X, y = make_moons(n_samples=100, noise=0.15, random_state=42)
polynomial_svm_clf = Pipeline([
        # 将源数据 映射到 3阶多项式
        ("poly_features", PolynomialFeatures(degree=3)),
        # 标准化
        ("scaler", StandardScaler()),
        # SVC线性分类器
        ("svm_clf", LinearSVC(C=10, loss="hinge", random_state=42))
    ])
polynomial_svm_clf.fit(X, y)
def plot_dataset(X, y, axes):
    plt.plot(X[:, 0][y==0], X[:, 1][y==0], "bs")
    plt.plot(X[:, 0][y==1], X[:, 1][y==1], "g^")
    plt.axis(axes)
    plt.grid(True, which='both')
def plot_predictions(clf, axes):
    # 打表
    x0s = np.linspace(axes[0], axes[1], 100)
    x1s = np.linspace(axes[2], axes[3], 100)
    x0, x1 = np.meshgrid(x0s, x1s)
    X = np.c_[x0.ravel(), x1.ravel()]
    y_pred = clf.predict(X).reshape(x0.shape)
    y_decision = clf.decision_function(X).reshape(x0.shape)
#     print(y_pred)
#     print(y_decision)
    plt.contourf(x0, x1, y_pred, cmap=plt.cm.brg, alpha=0.2)
    plt.contourf(x0, x1, y_decision, cmap=plt.cm.brg, alpha=0.1)
plot_predictions(polynomial_svm_clf, [-1.5, 2.5, -1, 1.5])
plot_dataset(X, y, [-1.5, 2.5, -1, 1.5])
plt.title("moon_svm")
plt.show()

在这里插入图片描述

四、SVM的优缺点

优点

1、使用核函数可以向高维空间进行映射

2、使用核函数可以解决非线性的分类

3、分类思想很简单，就是将样本与决策面的间隔最大化

4、分类效果较好

缺点

1、对大规模数据训练比较困难

2、无法直接支持多分类，但是可以使用间接的方法来做

五、参考文章

https://blog.csdn.net/qq_45213986/article/details/106186415?fps=1&locationNum=2?ops_request_misc=&request_id=&biz_id=102&utm_term=python%E5%AE%9E%E7%8E%B0%E9%B8%A2%E5%B0%BE%E8%8A%B1LDA&utm_medium=distribute.pc_search_result.none-task-blog-2allsobaiduweb~default-1-106186415

https://blog.csdn.net/zrh_CSDN/article/details/80934248

Time ??
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kmeans鸢尾花数据分类Kmenas
06-28
利用kmeans算法对数据集实行分类运算，C++kmeans鸢尾花kmeanskmeanskmeans
LDA 鸢尾花
weixin_43326122的博客
05-29 2409
导语 在模式分类和机器学习实践中，线性判别分析（Linear Discriminant Analysis, LDA）方法常被用于数据预处理中的降维（dimensionality reduction）步骤。LDA在保证良好的类别区分度的前提下，将数据集向更低维空间投影，以求在避免过拟合（“维数灾难”）的同时，减小计算消耗。 Ronald A. Fisher 在1936年（The Use of Multiple Measurements in Taxonomic Problems）提出了线性判别（Linear
LDA鸢尾花分类
weixin_45829292的博客
11-16 1192
基于sklearn自带的鸢尾花数据集训练 效果： import matplotlib.pyplot as plt from sklearn import datasets from sklearn.decomposition import PCA from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA iris = datasets.load_iris() X = iris.data y = iris.ta
聚类分析：kmeans实现对鸢尾花的分类
m0_46312299的博客
10-28 3594
content聚类算法的原理聚类kmeans 算法原理核心代码模型评估ARI 系数（有分类标签的数据集）轮廓系数基础补充取数索引设置确定某一列的取值种数 聚类算法的原理 聚类 聚类指的是没有目标函数情况下对一组数据分类，根据聚类结果确定最后的分类种数。SVM支持向量机分类，决策树分类等学习算法都是根据目标值学习模型。所以这里需要多次迭代学习，可以理解为用历史数据作为模型训练的目标函数 kmeans 算法原理 假定一个划分的簇数n，任选k个样本作为簇中心 根据样本与簇的距离相似度划分样本 重新计算簇中心 不断
使用LDA（线性判别公式）进行iris鸢尾花的分类
qq_36035111的博客
09-21 926
并且LDA也是一种监督学习的降维技术，也就是说它的数据集的每个样本都有类别输出。在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。通俗地说，iris数据集是用来给花做分类的数据集，每个样本包含了花萼长度、花萼宽度、花瓣长度、花瓣宽度四个特征（前4列），我们需要建立一个分类器，分类器可以通过样本的四个特征来判断样本属于山鸢尾、变色鸢尾还是维吉尼亚鸢尾（这三个名词都是花的品种）。每行数据包含每个样本的四个特征和样本的类别信息，所以iris数据集是一个150行5列的二维表。
python导入鸢尾花数据集，使用主成分分析函数对鸢尾花数据集降维数据集和原始数据集分别进行线性判别比较分析的准确率
最新发布
01-21
4. **线性判别分析比较**：对降维后的数据集和原始数据集分别进行线性判别分析（LDA），计算并比较两者的分类准确率。LDA是一种统计方法，用于找出能最大程度分离不同类别的线性投影。 5. **选做部分**：深入理解...
基于鸢尾花数据集实现线性判别式多分类
12-21
在本项目中，我们利用鸢尾花数据集（Iris dataset）实现了一个基于逻辑斯蒂判别式（Logistic Discriminant Analysis, LDA）的多分类算法。鸢尾花数据集是一个经典的数据集，它包含了三种不同类型的鸢尾花样本，每种...
Iris数据集的Fisher线性分类及可视化
12-20
【Iris数据集的Fisher线性分类及可视化】是一个关于使用Fisher线性判别分析（Fisher's Linear Discriminant Analysis, LDA）在Iris数据集上进行分类和结果可视化的主题。Iris数据集是机器学习领域经典的数据集，包含...
机器学习–Iris数据集的Fisher线性分类以及数据可视化技术的学习
12-20
在机器学习领域，Iris数据集是一个经典且广泛使用的数据集，主要用于教学和演示各种分类算法。Fisher线性分类，也称为Fisher判别分析（Fisher's Linear Discriminant Analysis, LDA），是一种用于分类和降维的技术。...
案例数据集《多元统计分析-数据降维-Fisher线性判别分析（LDA）-原油样本》
07-30
案例数据集《多元统计分析-数据降维-Fisher线性判别分析（LDA）-原油样本》
随机森林+鸢尾花+SMOTE+PCA+LDA
08-27
包括了一个随机森林算法， 并使用两个数据集进行训练。里面包含一个脚本文件，并插入了SMOTE插值、PCA降维以及LDA降维。其他降维方式的工具包在我的其他文件中
k-means 实现鸢尾花分类 基于paddle
m0_51787573的博客
07-14 542
基于paddle 采用k-means 实现鸢尾花分类
【K-Means】鸢尾花的分类聚类
热门推荐
wu_yihao的专栏
12-03 1万+
鸢尾花的分类聚类 现有若干鸢尾花的数据，每朵鸢尾花有4个数据，分别为萼片长（单位：厘米）、萼片宽（单位厘米）、花瓣长度（单位厘米）和花瓣宽（单位厘米）。我们希望能找到可行的方法可以按每朵花的4个数据的差异将这些鸢尾花分成若干类，让每一类尽可能的准确，以便帮助植物专家对这些花进行进一步的分析。 这是一道数模入门题目。 无指导聚类。用K-Means算法，最简单的欧式距离，最简单的
对鸢尾花数据集和月亮数据集，分别采用线性LDA、k-means和SVM算法进行二分类可视化分析
zjc
05-17 1278
对鸢尾花数据集和月亮数据集，分别采用线性LDA、k-means和SVM算法进行二分类可视化分析知识理解1.线性LDA2.k-means3.SVM鸢尾花数据集算法可视化1.使用线性LDA对鸢尾花数据集聚类2.使用k-means对鸢尾花数据集聚类3.使用SVM对鸢尾花数据集聚类月亮数据集算法可视化1.使用线性LDA对月亮数据集聚类2.使用k-means对月亮数据集聚类3.使用SVM对月亮数据集聚类 知识理解 1.线性LDA 线性判别式分析（Linear Discriminant Analysis），简称为LDA
LDA---鸢尾花数据集
Nanopipi的博客
02-24 1342
LDA实现 话不多说。直接来代码吧 整理的比较简单，记录自己的学习过程 下面展示一些 内联代码片。 import pandas as pd import numpy as np from matplotlib import pyplot as plt from sklearn.preprocessing import LabelEncoder from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA featur
分别采用线性LDA、k-means和SVM算法对鸢尾花数据集和月亮数据集进行二分类可视化分析
白码王子小张的博客
05-19 944
目录一、线性LDA、k-means和SVM算法介绍（一）线性LDA算法（二）k-means算法（三）SVM（支持向量机）算法二、采用线性LDA算法（一）鸢尾花数据集（二）月亮数据集三、采用k-means算法（一）鸢尾花数据集（二）月亮数据集四、采用SVM（支持向量机）算法（一）鸢尾花数据集（二）月亮数据集五、总结 一、线性LDA、k-means和SVM算法介绍 （一）线性LDA算法 线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher
机器学习基本概念（分类方法）：Bayes、PCA、LDA 和 K-means
iridescentzx的专栏
02-12 1705
机器学习入门知识
鸢尾花数据分析：主成分与线性判别结合高斯模型
"这篇数理统计的大作业主要探讨了鸢尾花数据集的分析，运用了马氏距离、混合高斯模型、主成分分析、线性判别分析以及刀切法（留一法）等统计学方法。鸢尾花数据集是多变量分析的经典案例，由Fisher于1936年创建，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值