自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

转载 机器学习之支持向量机SVM Support Vector Machine (六) 高斯核调参

参考:http://www.cnblogs.com/pinard/p/6126077.html        在支持向量机(以下简称SVM)的核函数中,高斯核(以下简称RBF)是最常用的,理论上 RBF一定不比线性核函数差,但是在实际应用中,却面临几个重要超参数的调优问题。如果调的不好,可能比线性核函数还要差。所以实际应用中,能用线性核函数得到较好效果的都会选择线性核函数。如果线性核效

2017-12-22 14:40:49 2861

转载 机器学习之支持向量机SVM Support Vector Machine (五) scikit-learn算法库

参考:http://www.cnblogs.com/pinard/p/6117515.html一、scikit-learn SVM算法库概述        scikit-learn中SVM的算法库分为两类,一类是分类算法库,包括SVC、 NuSVC和LinearSVC三个类。另一类是回归算法库,包括SVR、NuSVR和LinearSVR三个类。相关的类都包裹在sklearn.s

2017-12-22 10:06:12 1184

原创 机器学习之支持向量机SVM Support Vector Machine (四) SMO算法

基本思想序列最小最优化算法(Sequential Minimal Optimization, SMO)。优化目标函数:min┬a⁡〖1/2 ∑_(i=1)^m▒∑_(j=1)^m▒〖a_i a_j y_i y_j K(x_i,x_j ) 〗-〗 ∑_(i=1)^m▒a_i s.t.∑_(i=1)^m▒〖a_i y_i=0〗〖0≤a〗_i≤C, i=1,2,…m解需要满足的KKT

2017-12-21 11:44:44 574

原创 机器学习之支持向量机 (三) SVM回归模型Support Vector Regression (SVR)

SVM回归模型的损失函数SVM不仅可以用于分类模型,也可以用于回归模型。回顾SVM分类模型,目标函数是1/2 ‖w‖^2最小,同时让训练集的数据点尽量远离自己类别一边的支持向量,即y_i (w∙ϕ(x_i )+b)≥1。如果加入松弛变量ξ_i≥0,则目标函数是1/2 ‖w‖^2+C∑_(i=1)^m▒ξ_i ,对应的约束条件是y_i (w∙ϕ(x_i )+b)≥1-ξ_i回归模型的优化目标

2017-12-21 11:43:22 10681

原创 机器学习之支持向量机SVM Support Vector Machine (二) 非线性SVM模型与核函数

求解线性分类问题,线性SVM是一种非常有效的方法,但是有时分类问题是非线性的,这时可以使用非线性SVM。非线性问题往往不好求解,希望能用解线性分类问题的方法解决这个问题,可以采用非线性变换,将非线性问题变换为线性问题,通过解决变换后的线性问题的方法求解原来的非线性问题。在线性回归中,可以将多项式回归转化为线性回归。比如一个只有两个特征的p次多项式回归模型:h_θ (x_1,x_2 )=θ_

2017-12-21 11:41:36 1056

原创 机器学习之支持向量机SVM Support Vector Machine (一) 线性SVM模型与软硬间隔

一、简介        SVM是一种二类分类模型,它的目标是利用训练数据集的间隔最大化找到最优分离超平面。SVM还包括核技巧,使它成为非线性分类器。        SVM学习方法包含由简至繁的模型:线性可分SVM(硬间隔SVM)、线性SVM(软间隔SVM)、非线性SVM。二、间隔与支持向量        给定训练样本集,分类学习的目标是基于训练集D在样本空间找到一个分离超平面,将不

2017-12-15 18:07:39 1519

转载 机器学习之线性回归 Linear Regression(三)scikit-learn算法库

参考http://www.cnblogs.com/pinard/p/6026343.html        scikit-learn对于线性回归提供了比较多的类库,这些类库都可以用来做线性回归分析,本文就对这些类库的使用做一个总结,重点讲述这些线性回归算法库的不同和各自的使用场景。        线性回归的目的是要得到输出向量Y和输入特征X之间的线性关系,求出线性回归系数θ,也就是

2017-12-11 11:32:54 5113

转载 机器学习之逻辑回归 Logistic Regression(三)scikit-learn算法库

参考http://www.cnblogs.com/pinard/p/6035872.html1、概述        在scikit-learn中,与逻辑回归有关的主要是这3个类。LogisticRegression, LogisticRegressionCV 和logistic_regression_path。其中LogisticRegression和LogisticRegress

2017-12-11 09:38:33 4136

转载 机器学习之决策树 Decision Tree(三)scikit-learn算法库

参考http://www.cnblogs.com/pinard/p/6056319.html1、scikit-learn决策树算法类库介绍        scikit-learn决策树算法类库内部实现是使用了调优过的CART树算法,既可以做分类,又可以做回归。分类决策树的类对应的是DecisionTreeClassifier,而回归决策树的类对应的是DecisionTreeRegres

2017-12-08 17:32:03 5807 1

原创 机器学习之决策树 Decision Tree(二)Python实现

计算给定数据集的熵from math import log# 计算给定数据集的熵def calcShannonEnt(dataSet): numEntries = len(dataSet) labelCounts = {} for featVec in dataSet: # 为所有可能分类创建字典 currentLabel = featVec[-1] # 最后一列数据为键值

2017-12-08 14:01:04 814

原创 机器学习之决策树 Decision Tree(一)

一、决策树        决策树是一个树结构(可以是二叉树或非二叉树),每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始,测试待分类项中相应的特征属性,按照其值选择输出分支,直到到达叶节点,将叶节点存放的类别作为决策结果。二、决策树的构造        构造决策树的关键步骤是在某个节点处

2017-12-07 17:15:44 2029

原创 机器学习之逻辑回归 Logistic Regression(二)Python实现

参考http://blog.csdn.net/han_xiaoyang/article/details/49123419        在一组数据上做逻辑回归,数据格式如下:         先来看数据分布,代码如下:from numpy import loadtxt, wherefrom pylab import scatter, show, legend, xla

2017-12-04 17:23:10 657

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除