关闭
当前搜索:

sklearn之SVM二分类

理论部分 线性支持向量机 对偶形式支持向量机 核函数支持向量机 软间隔支持向量机 Kernel Logistic Regression Support Vector Regression(SVR) 使用sklearn实现的不同核函数的SVM使用不同核函数的SVMSVM用于二分类问题并可视化分类结果。# -*- coding: utf-8 -*- import numpy as np import...
阅读(44) 评论(0)

机器学习笔记-Gradient Boosted Decision Tree

上一篇介绍了Random Forest,该算法利用Bagging中的bootstrapping机制得到不同的Decision Tree, 然后将这些Decision Tree融合起来。除了基本的Bagging和Decision Tree之外,Random Forest还在Decision Tree中加入了更多的randomness。有了这些机制之后,我们发现这个算法可以利用OOB数据做self-V...
阅读(60) 评论(0)

机器学习笔记-Random Forest

随机森林算法 回顾Bagging和Decision Tree 这篇主要讲述机器学习中的随机森林算法相关的知识。首先回顾一下我们在前几篇博文中提到的两个模型,Bagging和Decision Tree。 Bagging算法的主要过程是通过bootstraping的机制从原始的资料D\mathcal{D}中得到不同的大小为N′N'资料D~t\mathcal{\tilde{D}_t},将这些资料...
阅读(58) 评论(0)

机器学习笔记-Decision Tree

上一篇讲解了Adaptive Boosting算法,这个算法有两个特点:第一个是在第t轮中通过调整每一个样本点的权重值以使得在t+1t+1轮得到不同于的gtg_t的gt+1g_{t+1};第二点是通过gtg_t的表现计算一个值作为权重将其线性的融合到GG中。这样的算法被证明当base learnerbase\ learner不怎么强的时候,通过这样的方式也可以得到很强的效果。 Decision...
阅读(74) 评论(0)

机器学习笔记-Support Vector Regression(SVR)

Support Vector Regression(SVR)上一篇中的内容是KLR(kernel logistic regression)KLR(kernel\ logistic\ regression)。这个问题的出发点是我们想要把SVMSVM这个强大的工具用在soft binary classificationsoft\ binary\ classification上,我们有两种选择: 第一种方...
阅读(57) 评论(0)

机器学习笔记-Adaptive Boosting

Motivation of Boosting 识别苹果 通过以下20个样本,其中前十个是苹果,后十个不是苹果,老师想要教会小孩子们如何识别苹果。 老师:Michael,前十张图片是苹果,下面的十张不是,通过观测,你觉得苹果长什么样子呢? Michael:我觉得苹果是圆的 如果根据Michael所说的规则, 所有的小孩子们都会觉得圆形的就是苹果,在这种简单的规则下有一些...
阅读(82) 评论(0)

机器学习笔记-Blending and Bagging

为什么要用aggregation 如果我们已经有了一些模型hypothesishypothesis,或者已经有了一些featurefeature,这些hypothesishypothesis可以帮助我们做预测,我们怎么样将这些已有的hypothesishypothesis或者是有有预测性的featurefeature结合起来,让它们在一起的时候可以work的更好。这样的模型我们称之为aggreg...
阅读(81) 评论(0)

机器学习笔记-Kernel Logistic Regression

Kernel Logistic Regression 本篇要介绍的是将Logistic Regression和Kernel函数结合在一起的应用。即我们要讨论的是:如果想要把KernelKernel的技巧使用在logistic Regressionlogistic\ Regression上,我们应该怎么做? Soft-Margin SVM as Regularized Model 回顾...
阅读(75) 评论(0)

机器学习笔记-非线性变换(Nonlinear Transformation)

二次多项式的假设函数之前介绍的模型是线性的,将所有的特征做一个加权和。现在我们要将这些model延伸成更复杂的方法, 使用非线性的方式来做资料的分类。 线性分类器:模型是参数的线性函数,并且存在线性分类面,那么就是线性分类器。 logistic回归属于线性模型还是非线性模型? 属于线性模型,因为logistic回归的的决策边界是线性的。证明如下: P(Y=1|x,w)=P(Y=...
阅读(127) 评论(0)

logistic regression识别真假币

介绍本篇实现了使用logisticlogistic回归进行真假币的判断,有关logistic regressionlogistic\ regression的详细讲解见这里。本篇使用随机梯度下降算法(SGD)(SGD)来求解logistic regressionlogistic\ regression,使用的数据集为钞票数据集。该数据集有17321732个样本, 每一个样本有44个特征。yy为00表示...
阅读(114) 评论(0)

mongodb导入json文件

mongodb导入json格式的文件的命令是mongoimport:在下面的这个例子中,使用mongoimport命令将文件contacts.json中的内容导入user数据库的contacts的数据表中。mongoimport --db users --collection contacts --file contacts.json切换到bin目录下,启动服务./mongod --dbpath /...
阅读(288) 评论(0)

word2vec安装使用笔记

word2vec 入门基础基本概念word2vec是Google在2013年开源的一个工具,核心思想是将词表征映 射为对应的实数向量。目前采用的模型有以下两种 CBOW(Continuous Bag-Of-Words,即连续的词袋模型) Skip-Gram 项目链接:https://code.google.com/archive/p/word2vec背景知识词向量词向量就是用来将语言中的词进行数学化...
阅读(198) 评论(1)

机器学习笔记-Logistic回归

回顾linear regressionlinear\ regression如果使用平方错误的话,我们可以很方便的解析出最好的ww是什么。即wbest=X†yw_{ best}=X^{\dagger} yLogistic Regression Problem问题的提出从一个人的身体数据来判断这个人有没有心脏病,这是一个典型的二元分类问题。Logistic Regression关注的是根据一个人的身体状...
阅读(361) 评论(0)

机器学习笔记-线性回归

Linear Regression Problem信用额度预测希望算法可以给出针对用户信用卡额度的预测,即当我们收集到用户的一些信息(如下),那么我们如何决定发放给该用户的信用额度呢? 线性回归这个问题要求我们的hypothesis可以给出实数范围内的预测结果。同样的从最简单的假设出发,对于每一个用户,x=(x0,x1,x2,⋯,xd)x = (x_0 , x_1, x_2, \cdots,...
阅读(270) 评论(0)

机器学习笔记-利用线性模型进行分类

理论部分 这一部分主要是为了证明为什么可以使用线性回归和逻辑斯蒂回归来做二元分类问题。 我们想要将已知的线性模型应用到二分类甚至是多分类的问题。我们已知的线性模型有如下的三种,它们有一个共同的地方是都会利用输入的特征计算一个加权和 s=wTxs = w^Tx。 线性分类不好解, 因为想要最小化E0/1(w)E_{0/1}(w)被证明是一个NP难问题。但相比之下,线性回归和逻辑斯蒂回归...
阅读(99) 评论(0)
86条 共6页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:86906次
    • 积分:1708
    • 等级:
    • 排名:千里之外
    • 原创:86篇
    • 转载:0篇
    • 译文:0篇
    • 评论:51条
    最新评论