机器学习入门之线性判别分析：python纯手写不用sklearn等机器学习包

最新推荐文章于 2022-09-20 03:18:44 发布
最新推荐文章于 2022-09-20 03:18:44 发布
阅读量847 收藏 1
点赞数 1
分类专栏： 不用机器学习包 不用机器学习包python手写 文章标签： 机器学习 线性判别分析 纯 python手写 不调用学习包
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36819065/article/details/100148981
版权
本文介绍了线性判别分析（LDA），一种用于模式识别的监督学习降维技术。通过一个简单的输血数据分析示例，展示了如何不使用机器学习包，纯Python实现LDA，旨在帮助读者更好地理解LDA的工作原理，即投影后使类内方差最小，类间方差最大。
摘要由CSDN通过智能技术生成

这里就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，数字识别，舰艇识别等图形图像识别领域）中有非常广泛的应用

代码github 仓库地址：https://github.com/cloudlwg/Machine-learning.git

在这里插入图片描述

在这里插入图片描述
LDA思想
LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的，这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”，如下图所示。 我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。

**

下面就是代码实现了，这里我带大家通过一个简单的例子 “输血数据分析blood”来代码实现，而且不能用任何机器学习包，这样便于大家更好的理解。blood数据集大家可以自行下载

**

# -*- coding:
最低0.47元/天 解锁文章
Java大湿修炼之路
关注
专栏目录
Python 机器学习 基础 之 【常用机器学习库】 scikit-learn 机器学习库
仙魁XAN
06-07 835
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
A.机器学习入门算法（五）：基于企鹅数据集的决策树分类预测
最新发布
丨汀、的博客
03-23 1539
具有很好的解释性，模型可以生成可以理解的规则。可以发现特征的重要程度。模型的计算复杂度较低。模型容易过拟合，需要采用减枝技术处理。不能很好利用连续型特征。预测能力有限，无法达到其他强监督模型效果。方差较高，数据分布的轻微改变很容易造成树结构完全不同。参考链接：https://tianchi.aliyun.com/course/278/3422本人最近打算整合ML、DRL、NLP等相关领域的体系化项目课程，方便入门同学快速掌握相关知识。
机器学习入门之多元线性回归模型：python纯手写boston房价预测，不用sklearn等机器学习包
qq_36819065的博客
08-29 2087
多元线性回归模型是机器学习最基本的也是入门级别的学习内容之一，掌握多元线性回归模型不是那么难，这篇文章助你了解多元线性回归模型如何手写python纯代码在预测上的应用，这样有助于大家更好的理解其原理，最简单的一个例子是boston房价预测。
python模型预测_Python AI极简入门：4、使用回归模型预测房价
weixin_39733948的博客
11-23 314
一、回归预测在前面的文章中我们介绍了机器学习主要解决分类、回归和聚类三大问题。今天我们来具体了解一下使用机器学习算法进行回归预测。回归预测主要用于预测与对象关联的连续值属性，得到数值型的预测数据。回归预测的应用场景有各类的价格预测、相关性的反应预测等。下面，我们就使用sklearn模块，以一个sklearn中集成的波士顿房价数据集来演示如何进行回归预测。二、波士顿房价预测1、引入数据集在sklea...
ID3算法：不使用sklearn中的决策树方法，根据数据集自己利用python编写决策树构建程序。
weixin_43765186的博客
05-01 2008
文章目录1.熵的计算2.最佳属性划分的选择信息熵的计算3.决策树的构建4.采用python matplotlib模块画决策树，使其决策树可视化：5.全部代码： ID3算法：不使用sklearn中的决策树方法，根据数据集自己进行编写决策树构建程序。 在代码中用到的data数据，以及属性值。也可以根据自己的实际情况进行修改。 data = [ [1, 0, 1, ‘no’], [0, 1, 1, ‘no’], [0, 0, 0, ‘no’], [1, 1, 1, ‘no’], [0, 2, 1, ‘yes’]
python实现线性回归预测不用sklearn库_python – 为什么我的自定义线性回归模型不匹配sklearn？...
weixin_39755853的博客
12-08 467
我正在尝试用Python创建一个简单的线性模型,不使用库(numpy除外).这就是我所拥有的import numpy as npimport pandasnp.random.seed(1)alpha = 0.1def h(x,w):return np.dot(w.T,x)def cost(X,W,Y):totalCost = 0for i in range(47):diff = h(X[i],W)...
【机器学习】KNN手写实现分类（无sklearn）
leiyulu的博客
12-05 666
题目 1.客户对于银行而言是重要的资产，对银行的收益以及市场占有率起着决定性作用。但是银行每年都要面对严重的客户流失问题，相较留住一个客户，获取一个新客户所需的成本往往是其数倍。因此分析出一个客户是否可能是潜在的易流失客户对于银行而言具有极大价值。通过研究客户的历史行为来捕捉流失客户的特点，分析客户流失原因，从而可以在客户真正流失之前做出相应的营销干预，对客户进行挽留。请根据国外某银行的匿名化数据，进行客户流失分析，具体的训练集和测试数据集请见Bank-Train.csv和Bank-Test.csv。 建一
机器学习周志华课后习题编程题，Python实现
01-02
3.5，编程实现线性判别分析，并给出西瓜数据集3.0a上的结果。 4.10 从网上下载或自己编程实现任意一种多变量决策树算法，并观察其在西瓜数据集3.0上产生的结果。 5.10 从网上下载或自己编程实现一个卷积神经网络并在...
机器学习实战笔记5——线性判别分析
weixin_44916097的博客
04-30 2645
任务安排 1、机器学习导论       8、稀疏表示 2、KNN及其实现       9、核方法 3、K-means聚类      10、高斯混合模型 4、主成分分析  &nbsp...
LDA线性判别分析Python
qq_44386182的博客
09-20 343
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的监督学习的数据降维方法，也叫做Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法 ，它是在1996年由Belhumeur引入模式识别和人工智能领域的。LDA的主要思想是将一个高维空间中的数据投影到一个较低维的空间中，且投影后要保证各个类别的类内方差小而类间均值差别大，这意味着同一类的高维数据投影到低维空间后相同类别的聚在一起，而不同类别之间相距较远。
西瓜书ID3决策树生成以及预测（采用k折交叉验证），不使用sklearn库
zxcfighting的博客
11-26 2816
基于西瓜书西瓜数据集2.0生成决策树，画出决策树，并输入样本进行预测类别。 然后根据现有代码对breast_cancer数据集进行训练和预测。 因为实验要求，不能够使用sklearn库，所以就只能上网借鉴一下大佬的代码，再自己改改，终于是完成了实验目标。 西瓜数据集2.0生产决策树以及预测： 对breast_cancer数据集采用十次十折交叉验证法进行验证： 取其中一折生成决策树图： 分类精度： #西瓜书ID3决策树的生成 import matplotlib im...
python线性回归预测房价不用sk-learn_sklearn线性回归实现房价预测模型
weixin_39663970的博客
12-10 918
题目要求建立房价预测模型：利用ex1data1.txt(单特征)和ex1data2.txt(多特征)中的数据，进行线性回归和预测。作散点图可知，数据大致符合线性关系，故暂不研究其他形式的回归。两份数据放在最后。单特征线性回归ex1data1.txt中的数据是单特征，作一个简单的线性回归即可：\(y=ax+b\)。根据是否分割数据，产生两种方案：方案一，所有样本都用来训练和预测；方案二，一部分样本用...
逻辑回归--代码实现（不使用scikit-learn）
qq_37879432的博客
04-05 1445
参考：https://blog.csdn.net/chibangyuxun/article/details/53148005 1 逻辑回归和线性回归的区别 线性回归算法是使用线性方程对数据集进行拟合的算法，通常情况下使用线性回归算法可以对某些事物进行预测。例如：房价预测，身高预测，体重预测等等。https://blog.csdn.net/qq_37879432/article/detail...
【机器学习】手动实现回归决策树 （不用sk-learn）
qq_39001444的博客
01-11 671
上一篇写的分类决策树 链接在这里【机器学习】手动实现分类决策树 （不用sk-learn） 这篇继续不用sk-learn库，一步一步实现回归决策树 树结构：同分类树 度量：rss 选择划分特征 构造树 读入数据：波士顿房价预测 训练 剪枝 测试 下面就开始啦 rss # The sum of squares of the difference between the estimated value and the true value def rss(data_set): result = dat
基于决策树的手写数字识别 (OpenCV)
IYATT-yx的博客
03-14 1525
素材 来源,基于 K近邻博文中原5000个手写数字得到的按行排列的手写数字数据以及对应行的标签, 保存为图片后直接放到这里使用,避免重复数据处理 (右键图片另存为) 行数据.png 标签.png
机器学习：决策树识别数字
qq_38590766的博客
09-29 882
决策树 原理 代码 from math import log import os ''' 参数： data：数据集，包含分类 返回： 该数据集的熵 ''' def calS(data): l = len(data) label = {} for i in data: cur = i[-1] if cur not in label.keys(): label[cur] = 0 label[cur]
机器学习--手写数字识别（KNN、决策树）
一个潜心学习的小白
01-13 6131
KNN KNN算法（邻近算法）的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。 欧式距离的计算公式: 假设每个样本有两个特征值，如 A ：（a1，b1）B：（a2，b2） 则AB的欧式距离为 d=(a1−a2)2+(b1−b2)2d=\sqrt{(a1-a2)^2 +(b1-b2)^2}d=(a1−a2)2+(b1...
PCA（主成分分析法）的Python代码实现（numpy，sklearn）
热门推荐
qq_52300431的博客
03-14 4万+
PCA（主成分分析法）的Python代码实现（numpy，sklearn）语言描述算法描述示例1 使用numpy一步一步按算法降维 2 直接使用sklearn中的PCA进行降维 语言描述 PCA设法将原来众多具有一定相关性的属性（比如p个属性），重新组合成一组相互无关的综合属性来代替原属性。通常数学上的处理就是将原来p个属性做线性组合，作为新的综合属性。 PCA 中的线性变换等价于坐标变换，变换的目的是使 n 个样本点在新坐标轴 y1y_1y1​ 上的离散程度（方差）最大，这样变量 y1
快速入门：Python机器学习库SKlearn的安装与应用
Python 机器学习工具包SKlearn是基于Python编程语言的强大工具，由SciKit-Learn团队开发，专注于简化机器学习任务。它构建在Numpy、Scipy、Pandas和Matplotlib等基础库之上，为了提升性能，还包含了一些用Cython编写...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值