KNN, LDA, SVM 实战 —— 运用在Farm-ads（python）

最新推荐文章于 2022-09-24 14:54:23 发布
最新推荐文章于 2022-09-24 14:54:23 发布
阅读量1.3k 收藏 8
点赞数
分类专栏： ML 文章标签： KNN LDA SVM 实战 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/budding0828/article/details/90343311
版权
本文通过KNN、LDA、SVM三种算法解决UCI Farm-ads数据集的分类问题。实验包括小数据集和全数据集的测试，结果显示SVM在分类效果上更优，但手写SVM在全数据集上运行时间过长。LDA因数据稀疏性无法求解，KNN和sklearn的LDA、SVM均有较好表现。
摘要由CSDN通过智能技术生成

概述

使用KNN，LDA，SVM求解UCI中的Farm-ads数据集。其中KNN为纯手写，LDA包括手写和使用sklearn的模块，SVM也包括手写和使用sklearn模块。

github代码

实验环境

anaconda + jupyter notebook + python3.7

数据

数据集来源

实验数据来源于：UCI机器学习数据库（http://archive.ics.uci.edu/ml/index.php）
其中，本次实验用到的数据集是Farm Ads Data Set。

其中UCI是一个非常适合入门的数据库，里面包括各种大小数据集，适用于分类，回归等多种任务。

数据集分析

这是一个纯文本数据集。每一行（共有4143行）是一条广告分割出来的单词。第一个特征是y，取值为1或者-1，代表该广告是否被接受。我们要做的就是，给定一系列的单词，判断这些单词组成的广告是否会被接受。

数据预处理

  1. 数据集格式
    首先看一下数据的具体情况。一共有两个文件，一个是farm-ads，一个是farm-ads-vect。第一个打开后如图1所示：
    在这里插入图片描述
    图1：farm-ads

里面的每一行代表一条广告。其中第一个词是1或者-1，表示这条广告是否会被拒收。也就是最后的y。x便是后面的单词。其中存在一些没有意义的前缀和单词，如“page”“com”等。下一步会进行预处理。

Farm-ads-vect打开之后如图2所示。数据提供者将单词转换成为一个id，每个单词对应一个id。但是感觉不是很对应，有些数据对应出错。所以后面的实验并没有使用该文件。

在这里插入图片描述
图2：farm-ads-vect

  1. 数据预处理思路
    对于文本数据，常见的处理思路是根据词料（也就是源数据）
最低0.47元/天 解锁文章
布丁的自我修养
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LDA 与 KNN 算法
some demo
04-21 1122
LDA 与 KNN 算法 https://github.com/zhanw15/LDA-and-KNN how to use it ============= how to use LDA ===================== Input && Target is Matrix we know it's target. W = LDA( Input, Targ...
LDA KNN SVM分类代码.rar
12-23
非常适合初学者的简单KNN、LDA、SVM分类，代码已实现，数据库同步压缩上传，初学者可以根据需要自行修改参数，可以分别对比分类性能。
【机器学习】分类算法总结 | LDA | logistic回归 | KNN | CART | 贝叶斯 | SVM
weixin_46274756的博客
09-20 598
机器学习的几个重要分类算法 ： LDA | logistic回归 | KNN | CART | 贝叶斯 | SVM
R语言分类(SVM KNN LDA等)与回归代码+原始数据+分析报告
01-08
R语言分类(SVM KNN LDA等)与回归代码+原始数据+分析报告，数据挖掘大作业。
LDA线性判别分析+KNN分类(含python实现代码)
JustNo
05-20 3848
以下使用数据集为:COIL20.mat(1440X1024) 下载链接:https://pan.baidu.com/s/13kXvS4elgHmuuttS8arFqA 提取码:rvyo LDA介绍: LDA是一种常用的数据降维方式，它属于监督式降维（特征提取）。通常在分类之前降低数据维度，使得不同类之间的数据更加的泾渭分明。 原理解释： 基本原理：将高维的样本数据投影到最佳判别向...
svm-knn.rar_KNN-SVM_SVM-KNN_SVM_KNN组合模型_svm knn_组合模型
最新发布
09-25
本文将深入探讨这两种算法以及它们的组合模型——SVM-KNN，同时结合MATLAB实现的相关知识。 首先，支持向量机（Support Vector Machine, SVM）是一种监督学习方法，用于分类和回归分析。其核心思想是找到一个最优超...
SVM-KNN.rar_knn_knn_svm_matlab knn_svm knn_svm-knn matlab
09-20
标题中的"SVM-KNN.rar"表明这是一个包含支持向量机（SVM）和K近邻（KNN）算法相关的MATLAB代码或者教程的压缩文件。KNN和SVM都是常用的机器学习算法，常用于分类任务。MATLAB是一种广泛应用于科学计算、图像处理和...
Python实现线性回归、逻辑回归、KNN、SVM、朴素贝叶斯、决策树、K-Means7种机器学习算法的经典案例——亲测可用
08-04
Python实现线性回归、逻辑回归、KNN、SVM、朴素贝叶斯、决策树、K-Means7种机器学习算法的经典案例——亲测可用
PCA+LDA+KNN人脸识别
05-04
PCA+LDA+KNN人脸识别的程序，经过测试程序是可以运行的
基于LDA(fisherface)和KNN的人脸识别（matlab)
02-25
基于LDA(fisherface)和KNN的人脸识别 经典的fisherface算法（PCA+LDA)，人脸识别入门 分类器采用KNN matlab实现，内附ORL人脸训练库
SVM和lda结合的文本分类
04-29
简易有效的文本分类
基于LDA 和SVM的文本分类研究
03-20
在LDA建模的基础上，使用各种分类器对文本分类，即利用LDA的建模结果提高分类效率和精度。
knn人脸识别判断_基于LDA KNN的人脸识别详解
weixin_29470121的博客
12-29 1476
人脸识别(LDA+KNN方法)：dataTrain=creatData(TrainDatabasePath);dataTest=creatData(TestDatabasePath);trainLabel=creatTrainLabelMat();testLabel=creatTestLabelMat();[train_lda,test_lda]=LDA(dataTrain,trainLabel,...
分类2：LDA-KNN 处理iris（鸢尾花）数据集代码
ww596520206的博客
09-24 338
使用KNN对鸢尾花数据集进行分类，并且使用LDA进行降维，然后再使用KNN做对比实验 2 加载数据 注意： 3 使用KNN进行分类 KNN模型，K=5 为K紧邻，K=1为最近邻，使用费fit训练模型，使用predict函数进行预测，最后使用acc计算精度。 4 先使用LDA进行降维，再使用KNN进行分类 使用LDA将维度降低到1维 使用transform对原数据进行降维，例如原来是4维的，现在是1维的，则会生成一个4*1的矩阵，降维后的数据特征是1维； 使用KNN进行降维
sklearn SVM学习
bohu83的博客
03-05 670
刚学完SVM的理论部分，感觉没有老师带着写代码练手，还是发虚。 参照之前的线性回归部分代码，改下模型试验下。 前面 部分跟之前一样，就不贴了。还是文本分词后，用TFIDF矩阵。 因为多分类的问题，svm的参数需要decision_function_shape='ovr'，如果不设置会报错。 模型主要参数有： C超参数： 对于训练集来说，其误差越小，但是很容易发生过拟合；C越小，则允许有更多的训练集误分类，相当于soft margin 核函数： kernel :可选线性、rbf 等。r..
机器学习实践中的细节经验
wo的博客
05-25 571
以下是个人的一些想法，后面有时间还会持续更新（但是总是木有时间啊）。大多数预测值都比实测值成倍数的缩小或者扩大原由：迭代不充分，算法不收敛。归一化会缩小训练时长 一个极端案例：预测未来16个点，5k 数据量，transformer，归一化500迭代次数即可，不归一化，迭代3000次才收敛。评测指标mape的弊端 对于实测值较小时不友好： 需要对目标值划分区间，分开测评。 随机森林回归、决策树回归和线性回归、神经网络的区别： 训练集的分布不能完全代表总体分布时，用线性回归和神经网络 前者基于对特征划最优区间，
variables are collinear 的原因
budding0828
05-19 4923
近期使用sklearn框架中的LDA模块进行二分类预测时，出现以下警告： UserWarning: Variables are collinear. warnings.warn("Variables are collinear.") 由于我使用的数据集是一个非常稀疏的矩阵，而LDA在求解过程中需要求数据的逆矩阵，所以会出现以上警告。 详细的解释是： LDA涉及计算矩阵求逆，如果行列式接近于0，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值