2017年12月_ivy_reny

转载机器学习之支持向量机SVM Support Vector Machine (六) 高斯核调参

参考：http://www.cnblogs.com/pinard/p/6126077.html 在支持向量机（以下简称SVM）的核函数中，高斯核（以下简称RBF）是最常用的，理论上 RBF一定不比线性核函数差，但是在实际应用中，却面临几个重要超参数的调优问题。如果调的不好，可能比线性核函数还要差。所以实际应用中，能用线性核函数得到较好效果的都会选择线性核函数。如果线性核效

2017-12-22 14:40:49 2861

转载机器学习之支持向量机SVM Support Vector Machine (五) scikit-learn算法库

参考：http://www.cnblogs.com/pinard/p/6117515.html一、scikit-learn SVM算法库概述 scikit-learn中SVM的算法库分为两类，一类是分类算法库，包括SVC、 NuSVC和LinearSVC三个类。另一类是回归算法库，包括SVR、NuSVR和LinearSVR三个类。相关的类都包裹在sklearn.s

2017-12-22 10:06:12 1184

原创机器学习之支持向量机SVM Support Vector Machine (四) SMO算法

基本思想序列最小最优化算法（Sequential Minimal Optimization, SMO）。优化目标函数：min┬a⁡〖1/2 ∑_(i=1)^m▒∑_(j=1)^m▒〖a_i a_j y_i y_j K(x_i,x_j ) 〗-〗 ∑_(i=1)^m▒a_i s.t.∑_(i=1)^m▒〖a_i y_i=0〗〖0≤a〗_i≤C， i=1,2,…m解需要满足的KKT

2017-12-21 11:44:44 574

原创机器学习之支持向量机 (三) SVM回归模型Support Vector Regression (SVR)

SVM回归模型的损失函数SVM不仅可以用于分类模型，也可以用于回归模型。回顾SVM分类模型，目标函数是1/2 ‖w‖^2最小，同时让训练集的数据点尽量远离自己类别一边的支持向量，即y_i (w∙ϕ(x_i )+b)≥1。如果加入松弛变量ξ_i≥0，则目标函数是1/2 ‖w‖^2+C∑_(i=1)^m▒ξ_i ，对应的约束条件是y_i (w∙ϕ(x_i )+b)≥1-ξ_i回归模型的优化目标

2017-12-21 11:43:22 10681

原创机器学习之支持向量机SVM Support Vector Machine (二) 非线性SVM模型与核函数

求解线性分类问题，线性SVM是一种非常有效的方法，但是有时分类问题是非线性的，这时可以使用非线性SVM。非线性问题往往不好求解，希望能用解线性分类问题的方法解决这个问题，可以采用非线性变换，将非线性问题变换为线性问题，通过解决变换后的线性问题的方法求解原来的非线性问题。在线性回归中，可以将多项式回归转化为线性回归。比如一个只有两个特征的p次多项式回归模型：h_θ (x_1,x_2 )=θ_

2017-12-21 11:41:36 1056

原创机器学习之支持向量机SVM Support Vector Machine (一) 线性SVM模型与软硬间隔

一、简介 SVM是一种二类分类模型，它的目标是利用训练数据集的间隔最大化找到最优分离超平面。SVM还包括核技巧，使它成为非线性分类器。 SVM学习方法包含由简至繁的模型：线性可分SVM（硬间隔SVM）、线性SVM（软间隔SVM）、非线性SVM。二、间隔与支持向量给定训练样本集，分类学习的目标是基于训练集D在样本空间找到一个分离超平面，将不

2017-12-15 18:07:39 1519

转载机器学习之线性回归 Linear Regression（三）scikit-learn算法库

参考http://www.cnblogs.com/pinard/p/6026343.html scikit-learn对于线性回归提供了比较多的类库，这些类库都可以用来做线性回归分析，本文就对这些类库的使用做一个总结，重点讲述这些线性回归算法库的不同和各自的使用场景。线性回归的目的是要得到输出向量Y和输入特征X之间的线性关系，求出线性回归系数θ，也就是

2017-12-11 11:32:54 5113

转载机器学习之逻辑回归 Logistic Regression（三）scikit-learn算法库

参考http://www.cnblogs.com/pinard/p/6035872.html1、概述在scikit-learn中，与逻辑回归有关的主要是这3个类。LogisticRegression， LogisticRegressionCV 和logistic_regression_path。其中LogisticRegression和LogisticRegress

2017-12-11 09:38:33 4136

转载机器学习之决策树 Decision Tree（三）scikit-learn算法库

参考http://www.cnblogs.com/pinard/p/6056319.html1、scikit-learn决策树算法类库介绍 scikit-learn决策树算法类库内部实现是使用了调优过的CART树算法，既可以做分类，又可以做回归。分类决策树的类对应的是DecisionTreeClassifier，而回归决策树的类对应的是DecisionTreeRegres

2017-12-08 17:32:03 5807 1

原创机器学习之决策树 Decision Tree（二）Python实现

计算给定数据集的熵from math import log# 计算给定数据集的熵def calcShannonEnt(dataSet): numEntries = len(dataSet) labelCounts = {} for featVec in dataSet: # 为所有可能分类创建字典 currentLabel = featVec[-1] # 最后一列数据为键值

2017-12-08 14:01:04 814

原创机器学习之决策树 Decision Tree（一）

一、决策树决策树是一个树结构（可以是二叉树或非二叉树），每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，按照其值选择输出分支，直到到达叶节点，将叶节点存放的类别作为决策结果。二、决策树的构造构造决策树的关键步骤是在某个节点处

2017-12-07 17:15:44 2029

原创机器学习之逻辑回归 Logistic Regression（二）Python实现

参考http://blog.csdn.net/han_xiaoyang/article/details/49123419 在一组数据上做逻辑回归，数据格式如下：先来看数据分布，代码如下：from numpy import loadtxt, wherefrom pylab import scatter, show, legend, xla

2017-12-04 17:23:10 657

ivy_reny的专栏