分类算法
文章平均质量分 63
千语_肉丸子
好好学习、天天向上
结交各种大牛、共同进步
展开
-
分类算法----线性可分支持向量机(SVM)算法的原理推导
支持向量机(support vector machines, SVM)是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,其目标是在特征空间中找到一个分离超平面,能将实例分到不同的类,分离超平面将特征空间划分为两部分,正类和负类,法向量指向的为正类,1 线性可分支持向量机如下图,有红色和绿色两类,假设红色为正,绿色为负类,数据集线性可分,这是有许多直线将两类原创 2017-06-05 16:51:24 · 2476 阅读 · 0 评论 -
逻辑回归扩展-----适用于多分类
原创 2017-07-31 15:07:20 · 650 阅读 · 0 评论 -
数据挖掘---分类评估指标和回归问题
1分类问题1.1 什么是分类在监督学习中,当输出变量Y取有限个离散值时,预测问题就是分类问题,这时输入变量X可以是离散的也可以是连续的1.2 什么是分类器监督学习中从数据中学习一个分类模型或分类决策树,称为分类器,分类器对新输入的数据进行输出的预测称为分类,当分类类别有多个时,称为多分类问题1.3 分类的评价指标如下图所示为实际分类和预测分类1.3.1 准确率准...原创 2017-04-05 21:54:51 · 3562 阅读 · 0 评论 -
分类算法-----朴素贝叶斯原理和python实现
本文主要介绍一下内容:1贝叶斯,2 朴素贝叶斯的推导,3 最大似然估计的推到过程,4朴素贝叶斯的计算步骤 ,5 贝叶斯估计1 贝叶斯 假设有两类数据p1(x,y)表示(x,y)属于类别1,用p2(x,y)表示(x,y)属于类别2,那么对于一个新的数据集(x,y),可以根据一下规则来判断他的类别1.如果p1(x,y)>p2(x,y),则(x,y)属于类别12.如果p2(x,y)...原创 2017-05-22 22:21:57 · 5927 阅读 · 0 评论 -
分类算法-----决策树(ID3)算法原理和Python实现
参考Python数据分析与挖掘实战1 ID3算法的基本原理ID3算法基于信息熵来选择最佳的测试属性。他选择当前样本集中具有最大信息增益值的属性做为测试属性,用信息增益值度量不确定性:信息增益越大不确定性越小。因此ID3算法在每个非叶子节点选择信息增益最大的属性最为测试属性,这样可以得到当前情况下最纯的分析,从而得到较小的决策树。显然E(A)越小,Gain(A)的值越大,说明选择测试...原创 2017-05-03 22:34:53 · 1754 阅读 · 0 评论 -
分类算法----线性判别分析(LDA)原理和推导过程学习笔记
线性判别分析用到方差分析和拉个朗日的相关知识,在介绍线性判别分析之前,先介绍方差分析和拉格朗日的相关知识,然后介绍线性判别分析(LDA的推导过程)、最后利用马氏距离计算样本与两类的距离,对数据进行分类1方差分析2 拉个朗日法3 线性判别分析(LDA)的推导过程假设有两类数据红色和蓝色,我们想通过线性判别分析对这两类数据进行分类。图1可以看到没有很好的把数据分开,而图二可...原创 2017-05-02 21:56:03 · 13233 阅读 · 3 评论 -
分类算法----逻辑回归特征选择
备注:以下均参考Python数据分析和数据挖掘实战在利用Scikit-Learn对数据进行逻辑回归之前。首先进行特征筛选。特征筛选的方法很多,主要包含在Scikit-Learn的feature-selection库中,比较简单的有通过F检验(f_regression)来给出各个特征的F值个P值,从而可以筛选变量(选在F值达回执P值小的特征)。一下为利用稳定性选择方法中的随机逻辑回归进行特征筛选...原创 2017-04-24 22:35:13 · 14689 阅读 · 0 评论 -
分类算法----逻辑回归Logistic原理和Python实现学习笔记
1 什么是逻辑回归Logistic属于概率型非线性回归,分为二分类和多分类的回归模型。对于二分类的逻辑回归只有是和否两个取值,记为1和0,在自变量xi(i从1到n),y取是的概率为P,y取否的概率为1-P,研究的是当y取是发生的概率p与xi的关系逻辑回归优点:1)预测结果是介于0和1之间的概率;2)可以适用于连续性和类别性自变量;3)容易使用和解释;缺点:1)对模型中自变量多重共...原创 2017-04-14 22:17:53 · 3355 阅读 · 0 评论 -
分类算法-----KNN思想和python实现学习笔记
1.1K近邻算法的简介K近邻算法用于测量不同特征值之间的距离,根据最近的前N个样本的标签给数据进行分类优点:精度高、对异常值不敏感、无数据输入假设缺点:计算复杂度高、空间复杂度高1.2K近邻算计算流程1.3 K近邻算法例子下图个K近邻算法的计算步骤流程,由于K=4,Top4有3个为flag1则A的类别为flag1,下图选用最常用的计算距离的公式两点之间距离(欧式距离)...原创 2017-04-05 23:39:52 · 562 阅读 · 0 评论