数据挖掘与分析应用：分类算法：k近邻KNN，决策树CART，贝叶斯，支持向量机SVM，深度学习DNN，xgboost分类

已于 2022-11-05 15:56:23 修改
阅读量1k 收藏 6
点赞数 2
分类专栏： 数据挖掘 文章标签： 数据挖掘 分类 决策树 支持向量机SVM 贝叶斯和KNN
于 2022-11-04 19:16:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46838716/article/details/127692585
版权

数据挖掘与分析应用：分类算法：k近邻KNN，决策树CART，贝叶斯，支持向量机SVM

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲
数据挖掘知识系列文章
【1】数据挖掘与分析应用：理解业务和数据，准备数据，数据清洗，标准化，缺失值处理，构建数据集
【2】数据挖掘与分析应用：算法模型选择与训练、评估模型、上线部署，回到准备数据阶段

文章目录

数据挖掘：KNN算法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
k个分类，相邻的分类
特征相似的同一类人

在这里插入图片描述
住别墅的往往是有钱人

在这里插入图片描述
样本多，指，距离跟他们近的大多数

在这里插入图片描述
富人之间的房子距离很近，它就是富人
那个房子跟穷人的距离很远，它不可能是穷人

在这里插入图片描述
适合小数据，数据太多，每一个遍历运算，那耗费时间空间
gg
有的类别太多，太少也没法算距离

d要标准化，量纲不同就不行
在这里插入图片描述
在这里插入图片描述
k太小不可以——过拟合
k太大，也不行——欠拟合
1++++
选取一个准确率最好的
错误率最低的那个手肘法
在这里插入图片描述

决策树

在这里插入图片描述
在这里插入图片描述
一堆男人决定追女神
女神怎么说
男生发简历
先看颜值
再看薪资
再看学历
身高
在这里插入图片描述
在这里插入图片描述
第一个人
在这里插入图片描述
第二个
在这里插入图片描述
第三个

在这里插入图片描述
还可以
特征到底好不好呢？
根节点是谁？
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
CART最牛逼
后来的GBDT很牛逼的模型
就是CART搞的
很强

可解释性强
预测速度快，只需要一条路，if通
在这里插入图片描述
当然，容易过拟合
非走不可
特征差距大，泛化不合适
在这里插入图片描述
剪枝可以解决问题
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
大杀器

朴素贝叶斯

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这貌似被判赔偿了吧

在这里插入图片描述
现在呢
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
分母+小数
避免为0
在这里插入图片描述

在这里插入图片描述
有相关性，就不好搞
在这里插入图片描述
依赖一个
在这里插入图片描述

支持向量机SVM

在这里插入图片描述
1995年出生
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

那几个距离直线最近的点，就是支持向量
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
公式推导很复杂
理论丰富
全局最优解
局部还是决策树
鲁棒性取决于支持向量

在这里插入图片描述
但运算量不小
SVM二分类
类别多了就gg
在这里插入图片描述

数据挖掘深度学习ANN

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
ANN模型
就是一个线性回归模型
但是后续
在这里插入图片描述
重点还是后面的激活函数，非线性映射，这是重点

在这里插入图片描述
电信号累加到一定的水平
激活
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
深度学习
在这里插入图片描述

XGBoost

在这里插入图片描述
在这里插入图片描述
xgboost是决策树

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
想要这种效果
在这里插入图片描述
在这里插入图片描述
特征
在这里插入图片描述
语言不通，数字不通
描述不通，标签或者文段
在这里插入图片描述
在这里插入图片描述
地址要谨慎，千万别整错
在这里插入图片描述

汉语数字转阿拉伯数字
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
二次需要人力的

在这里插入图片描述
分类算法暂时告一段落

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。

[Python从零到壹] 十四.机器学习之分类算法五万字总结全网首发（决策树、KNN、SVM、分类对比实验）
杨秀璋的专栏
07-09 2万+
分类（Classification）属于有监督学习（Supervised Learning）中的一类，它是数据挖掘、机器学习和数据科学中一个重要的研究领域。分类模型类似于人类学习的方式，通过对历史数据或训练集的学习得到一个目标函数，再用该目标函数预测新数据集的未知属性。本章主要讲述分类算法基础概念，并结合决策树、KNN、SVM分类算法案例分析各类数据集，从而让读者学会使用Python分类算法分析自己的数据集，研究自己领域的知识，从而创造价值。 19.1 分类 19.1.1 分类模型 与前面讲述的聚类模型类似
Opencv学习笔记 - OpenCV 4机器学习算法简介
学以致用 知行合一
11-16 5191
在机器学习中，一些比较流行方法的包括：支持向量机（SVM）、人工神经网络（ANN）、聚类、k-最近邻、决策树和深度学习。OpenCV支持并实现几乎所有这些方法，并有详细的文档说明。 OpenCV 4 机器学习算法 OpenCV实现了其中的八种机器学习算法，所有这些算法都继承自StatModel类，这八种算法是： ·人工神经网络 ·随机树 ·期望最大化 ·k-最近邻 ·............
【大数据分析与挖掘】KNN模型、朴素贝叶斯模型、SVM支持向量机模型学习笔记
m0_57293204的博客
12-29 1653
目录KNN模型核心思想算法步骤度量方法朴素贝叶斯模型优缺点核心假设公式SVM支持向量机模型核心思想 KNN模型 KNN模型为有监督的学习算法，中文名为K最近邻算法。 k最近邻算法是数据挖掘中最简单的分类算法之一。 它属于“惰性”学习算法，其惰性在于不会从训练数据中学习判别函数（即模型），而是将模型的构建与未知数据的预测同时进行，靠记忆训练数据（仅仅保存训练样本）来完成预测任务。因此，在整个学习过程中，它付出的训练代价为零。 KNN既可以针对离散型变量做分类，又可以对连续型变量做回归预测。 核心思想 核心思想
用DNN做回归预测对比XGBoost
热衷于开源，热爱人工智能领域，时常分享机器学习，数据挖掘项目及方法，我们一起努力！
08-19 9445
前言 现在神经网络的运用越来越流行了，即使在结构化数据领域神经网络也随着数据量的增大而逐渐替代传统机器学习方法，能够创建一个基础的深度神经网络解决问题对一个合格的算法工程师来说变得越来越关键了。我就从一个初学者的角度出发，对我们常见的回归问题运用神经网络对和集成学习大杀器XGBoost进行预测效果对比。 气温数据集下载地址：https://pan.baidu.com/s/1KNYfb2S7ct4KsIJxUFz2Uw 提取码：DJNB 数据集探索 打印前11行数据： 可以看到，气温数据集只有9个特征属性
学习《机器学习100天》第10天 支持向量机和K近邻法
东篱下
01-29 352
github上的项目，跟着一起学习 “了解更多关于SVM如何工作和实现knn算法的知识。”     1. “支持向量机“中的支持向量 下图中两条虚线上的点，就是支持向量     2. 核函数 核函数（Kernel trick），这一概念经常与SVM搭配出现，但并非SVM特有。 在一个空间中，模型是非线性可分的，需要把数据映射到另一个空间，线性可分。此时需要借助核函数。   参考...
《深入理解XGBOOST》学习笔记 KNN 近邻模型通俗解释
limiaoiao的博客
03-24 501
标题
项目——数据预处理2+xgboost+knn
hey
06-01 1315
20170410项目——数据预处理2+xgboost+knn
39.Python图像分类万字详解（贝叶斯图像分类、KNN图像分类、DNN图像分类）.pdf
03-31
支持向量机（Support Vector Machine, SVM）是一种监督学习模型，用于分类和回归分析。在图像分类中，SVM试图找到一个最优的超平面，使得不同类别的样本被尽可能正确地区分开来。SVM的优点在于能够处理高维数据并且...
Python图像分类详解：贝叶斯、KNN与DNN方法
本文档是一篇深入讲解Python图像分类的万字详细指南，涵盖了贝叶斯图像分类、KNN图像分类以及深度神经网络(DNN)图像分类这三个关键领域。作者东山月雪在文章中首先阐述了图像分类的基本概念，介绍了图像处理中的重要...
人工智能 机器学习 数据挖掘 数据分析 算法大全
Tinkle2015
10-14 2874
列举一下机器学习最经典的、最具代表性的一些算法或重要概念，了解一下机器学习领域的主要内容分类。 1.回归 线性回归(Linear回归) Logistic回归(逻辑回归)【二分类算法，但本质上是属于回归】 多项式回归 Ridge回归(岭回归) LASSO回归 Elastic Net回归(弹性网络回归) 最小角回归 2.决策树 ID3算法 C4.5算法 CART算法 ...
MNIST多种方法Python实现(KNN、CNN、DNN)
最新发布
PHP01的博客
12-28 753
本文可用于机器学习作业，我们这里使用了三种方法进行判定，因为现在很多研究中经常会用MNIST的分类性能作为基准任务。这个总结之前写过的，直接挪过来了。
集成k-最近邻(k-NN)、朴素贝叶斯、Logistic回归、支持向量机(SVM)、决策树、随机森林、多层感知机的一个机器学习示例
Cjv的博客
01-16 7457
(1) 创建机器学习所需环境 python版本为Python 3.6.2 **NumPy：**用于使用Python进行数值处理。 **PIL：**一个简单的图像处理库。 **scikit-learn：**包含我们今天要介绍的机器学习算法。 Keras和**TensorFlow：**深度学习，后续使用，本篇博客暂不需要。 (2) 数据集 本示例将使用的是Iris数据集，是入门机器学习的首选，相...
项目1：logit,GBM,knn,xgboost准确率测试
军军的专栏
02-16 5404
logit,GBM,knn,xgboost准确率测试 junjun 2016年2月16日 参考：http://chiffon.gitcafe.io/2015/05/20/newtry.html#topofpage 数据来自UCIhttp://archive.ics.uci.edu/ml/machine-learning-databases/credit-sc
常用数据分类算法原理介绍、优缺点分析与代码实现[LR/RF/DT/SVM/NavieBayes/GBDT/XGBoost/DNN/LightGBM等]
Together_CZ的博客
07-07 3014
常用数据分类算法原理介绍、优缺点分析与代码实现[LR/RF/DT/SVM/NavieBayes/GBDT/XGBoost/DNN/LightGBM等]
机器学习—SVM（支持向量机）（李宏毅笔记）
尊尊_机器学习的博客
04-23 1236
Linear SVM         Svm是一种分类模型，利用支持向量寻找超平面，可以用于回归和分类。首先主要介绍了SVM的loss function，即Hinge Loss 对比三种loss function的效果回归模型和SVM有不同的loss function对偶表示，SVM loss function优化方法只与支持向量有关，与其他向量无关核函数的介绍SVM与DNN的对比...
k最近邻分类;matlab_机器学习笔记 03 三张图带你看懂K近邻法与支持向量机的原理...
weixin_39732640的博客
12-21 822
题记：对于大多数医生来讲，理解前面两篇机器学习的内容可能有难度，学习重在于积累，“不积跬步，无以至千里”。笔者本人也是从一句R语言代码也读不懂的菜鸟一步一步走过来。坚持学习，总会有收获。今天这篇读书笔记我们将介绍两种非线性分类技术：K最近邻法(KNN)与支持向量机法(SVM)的原理。本文参考Cory Lesmeister博士主编《Mastering Machine Learning wi...
【文本分类】基于DNN/CNN的情感分类
PaddlePaddle
03-06 1588
导语PaddlePaddle提供了丰富的运算单元，帮助大家以模块化的方式构建起千变万化的深度学习模型来解决不同的应用问题。这里，我们针对常见的机器学习任务，提供了不同的神...
汇总一些计算机研究方向的缩写（CNN、RNN、DNN、GNN、GAN、NLP等等）
白洞，白色的明天在等着我们
10-04 9210
CNN(Convolutional Neural Networks):卷积神经网络 RNN(Recurrent Neural Network):循环神经网络 DNN(Deep Neural Networks):深度神经网络 GNN(Graph Neural Networks):图神经网络 BRNN(Recurrent Neural Network):双向长短时记忆循环神经网络 GAN(Generative Adversarial Networks):生成式对抗网络 NLP(Natural Language
3-6 决策树、CART树、GBDT、xgboost、lightgbm一些关键点梳理
记录与分享AI资料与学习过程
02-16 1257
ID3决策树：计算最大信息增益的特征，对样本进行划分 C4.5决策树：计算最大信息增益率（也叫信息增益比）的特征，对样本进行划分 CART分类树采用基尼指数作为划分条件，基尼指数越大说明不确定性越小 CART回归树通过最小化损失函数的方式来选择划分点，每个叶子节点集合对应的预测值为 使得被划分集合损失函数最小的回归值 xgboost在GBDT的损失函数上加了正则化项，将损失函数近似为二阶泰勒展开 lightgbm采用了Histogram直方图、基于梯度的单边采样算法、互斥特征绑定算法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冰露可乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值