关闭
当前搜索:

sklearn之SVM二分类

理论部分 线性支持向量机 对偶形式支持向量机 核函数支持向量机 软间隔支持向量机 Kernel Logistic Regression Support Vector Regression(SVR) 使用sklearn实现的不同核函数的SVM使用不同核函数的SVMSVM用于二分类问题并可视化分类结果。# -*- coding: utf-8 -*- import numpy as np import...
阅读(59) 评论(0)

机器学习笔记-Gradient Boosted Decision Tree

上一篇介绍了Random Forest,该算法利用Bagging中的bootstrapping机制得到不同的Decision Tree, 然后将这些Decision Tree融合起来。除了基本的Bagging和Decision Tree之外,Random Forest还在Decision Tree中加入了更多的randomness。有了这些机制之后,我们发现这个算法可以利用OOB数据做self-V...
阅读(65) 评论(0)

机器学习笔记-Random Forest

随机森林算法 回顾Bagging和Decision Tree 这篇主要讲述机器学习中的随机森林算法相关的知识。首先回顾一下我们在前几篇博文中提到的两个模型,Bagging和Decision Tree。 Bagging算法的主要过程是通过bootstraping的机制从原始的资料D\mathcal{D}中得到不同的大小为N′N'资料D~t\mathcal{\tilde{D}_t},将这些资料...
阅读(68) 评论(0)

机器学习笔记-Decision Tree

上一篇讲解了Adaptive Boosting算法,这个算法有两个特点:第一个是在第t轮中通过调整每一个样本点的权重值以使得在t+1t+1轮得到不同于的gtg_t的gt+1g_{t+1};第二点是通过gtg_t的表现计算一个值作为权重将其线性的融合到GG中。这样的算法被证明当base learnerbase\ learner不怎么强的时候,通过这样的方式也可以得到很强的效果。 Decision...
阅读(84) 评论(0)

机器学习笔记-Support Vector Regression(SVR)

Support Vector Regression(SVR)上一篇中的内容是KLR(kernel logistic regression)KLR(kernel\ logistic\ regression)。这个问题的出发点是我们想要把SVMSVM这个强大的工具用在soft binary classificationsoft\ binary\ classification上,我们有两种选择: 第一种方...
阅读(61) 评论(0)

机器学习笔记-Adaptive Boosting

Motivation of Boosting 识别苹果 通过以下20个样本,其中前十个是苹果,后十个不是苹果,老师想要教会小孩子们如何识别苹果。 老师:Michael,前十张图片是苹果,下面的十张不是,通过观测,你觉得苹果长什么样子呢? Michael:我觉得苹果是圆的 如果根据Michael所说的规则, 所有的小孩子们都会觉得圆形的就是苹果,在这种简单的规则下有一些...
阅读(92) 评论(0)

机器学习笔记-Blending and Bagging

为什么要用aggregation 如果我们已经有了一些模型hypothesishypothesis,或者已经有了一些featurefeature,这些hypothesishypothesis可以帮助我们做预测,我们怎么样将这些已有的hypothesishypothesis或者是有有预测性的featurefeature结合起来,让它们在一起的时候可以work的更好。这样的模型我们称之为aggreg...
阅读(91) 评论(0)

机器学习笔记-Kernel Logistic Regression

Kernel Logistic Regression 本篇要介绍的是将Logistic Regression和Kernel函数结合在一起的应用。即我们要讨论的是:如果想要把KernelKernel的技巧使用在logistic Regressionlogistic\ Regression上,我们应该怎么做? Soft-Margin SVM as Regularized Model 回顾...
阅读(81) 评论(0)

机器学习笔记-非线性变换(Nonlinear Transformation)

二次多项式的假设函数之前介绍的模型是线性的,将所有的特征做一个加权和。现在我们要将这些model延伸成更复杂的方法, 使用非线性的方式来做资料的分类。 线性分类器:模型是参数的线性函数,并且存在线性分类面,那么就是线性分类器。 logistic回归属于线性模型还是非线性模型? 属于线性模型,因为logistic回归的的决策边界是线性的。证明如下: P(Y=1|x,w)=P(Y=...
阅读(139) 评论(0)

logistic regression识别真假币

介绍本篇实现了使用logisticlogistic回归进行真假币的判断,有关logistic regressionlogistic\ regression的详细讲解见这里。本篇使用随机梯度下降算法(SGD)(SGD)来求解logistic regressionlogistic\ regression,使用的数据集为钞票数据集。该数据集有17321732个样本, 每一个样本有44个特征。yy为00表示...
阅读(117) 评论(0)

机器学习笔记-Logistic回归

回顾linear regressionlinear\ regression如果使用平方错误的话,我们可以很方便的解析出最好的ww是什么。即wbest=X†yw_{ best}=X^{\dagger} yLogistic Regression Problem问题的提出从一个人的身体数据来判断这个人有没有心脏病,这是一个典型的二元分类问题。Logistic Regression关注的是根据一个人的身体状...
阅读(364) 评论(0)

机器学习笔记-线性回归

Linear Regression Problem信用额度预测希望算法可以给出针对用户信用卡额度的预测,即当我们收集到用户的一些信息(如下),那么我们如何决定发放给该用户的信用额度呢? 线性回归这个问题要求我们的hypothesis可以给出实数范围内的预测结果。同样的从最简单的假设出发,对于每一个用户,x=(x0,x1,x2,⋯,xd)x = (x_0 , x_1, x_2, \cdots,...
阅读(271) 评论(0)

机器学习笔记-利用线性模型进行分类

理论部分 这一部分主要是为了证明为什么可以使用线性回归和逻辑斯蒂回归来做二元分类问题。 我们想要将已知的线性模型应用到二分类甚至是多分类的问题。我们已知的线性模型有如下的三种,它们有一个共同的地方是都会利用输入的特征计算一个加权和 s=wTxs = w^Tx。 线性分类不好解, 因为想要最小化E0/1(w)E_{0/1}(w)被证明是一个NP难问题。但相比之下,线性回归和逻辑斯蒂回归...
阅读(94) 评论(0)

SVM学习笔记-软间隔SVM

回顾 在上一篇中记录了Kernel SVM,利用核函数使得我们可以通过对偶形式的SVM解决非线性的问题,例如使用高斯核函数可以在无限维度的空间中寻找超平面。但是正如我们之前说到过的,高斯SVM在参数选择的不恰当的时候,也会出现overfit的情况。为什么SVM也会出现overfit的情况呢?一个原因可能是因为我们选择的特征转化太过于powerful,就算存在最大间隔的限制,最终也还是会出现过拟合...
阅读(1068) 评论(2)

SVM学习笔记-核函数与非线性SVM

核技术 回顾 上次讲到了SVM的对偶形式,这个对偶问题也是二次规划问题。所以可以使用二次规划的方法来解决。之所以要使用SVM的对偶形式,是因为它告诉了我们SVMSVM背后的一些几何意义,例如,对偶的SVM问题的解中αn≥0\alpha_n \ge 0所对应的那些点(zn,yn)(z_n, y_n)就是我们想要找的支撑向量。另一方面,这个对偶问题在求解的时候好像几乎和我们所在的空间的维度没有...
阅读(592) 评论(0)
20条 共2页1 2 下一页 尾页
    个人资料
    • 访问:88319次
    • 积分:1723
    • 等级:
    • 排名:千里之外
    • 原创:86篇
    • 转载:0篇
    • 译文:0篇
    • 评论:51条
    最新评论