2018年05月_元气少女wuqh

原创 Online SVM 和 Hinge Loss

在线学习意味着应用增量学习方法来处理新增样本。对于 linear SVM 问题，求解方法之一是利用 Gradient Descent 最小化如下所示的代价函数（有SVM原问题得到），但遗憾的是与基于二次规划的求解方法相比，收敛速度要慢得多。【式-1】线性SVM分类代价函数 J(w,b)=12wTw+C∑i=1mmax(0,1−yi(wTxi+b))J(w,b)=12wTw+C∑i=1mm...

2018-05-23 22:55:29 869

原创 kernel SVM 和 multi-kernel SVM

3. Kernel SVM线性分类（超平面）并不能满足所有场合的需求，如形状为套环的样本集。此时便需要引入非线性分类方程：【式-0】非线性分类方程 H′(x)=wTϕ(x)+bH′(x)=wTϕ(x)+b H'(x) = w^T\phi(x)+b同理，在任一点 xxx 处，若 H′(x)&gt;0H′(x)&gt;0H'(x) > 0，则 xxx 属于第 I 类；若 H′(...

2018-05-23 16:56:45 1677

原创 SVM 中的mathematics —— Basic SVM 和 Soft Margin SVM

1. Basic SVM训练样本集：{(xi,yi),i=1,2,⋯,m=m++m−}{(xi,yi),i=1,2,⋯,m=m++m−}\{(x_i, y_i), i=1,2,\cdots, m=m^++m^-\}，其中，xi∈Rn,yi∈{+1,−1}xi∈Rn,yi∈{+1,−1}x_i\in R^{n},y_i\in\{+1,-1\}目标 1)：找到一个超平面{x|wTx+b=0}{...

2018-05-22 22:24:02 351

原创 SVM 概述

本篇为概述，数学推导见下篇：Linear SVM Classification适用场合：线性可分特点：large margin classificationhard margin classification:目标/核心：要求所有的样本必须被正确分类存在的问题：要求训练样本必须线性可分对 Outliers 特别敏感（产生泛化能力差的问题）soft margin cla...

2018-05-22 22:21:50 759

原创 Softmax Regression

Logistic Regression 常用于二分类的场合，而 Softmax Regression (又名 Multinomial Logistic Regression) 就是 Logistic Regression 在多类别场合下的推广，这种推广并不需要训练或者结合多个二分类分类器。1. 概率估计和类别预测基本思路：对某一样本/实例 xxx： - 首先计算该样本属于各个...

2018-05-19 19:18:26 455

原创逻辑回归 Logistic Regression

又名 Logit Regression. 通常用来估计样本属于某一类的概率。1. 概率估计【式-1】Logistic Regression模型估计概率（向量形式） p̂&amp;nbsp;=hθ(x)=σ(θTx)p^=hθ(x)=σ(θTx)\hat{p} = h_{\theta}(\mathbf{x}) = \sigma(\theta^T\mathbf{x}) 其中， σ(t)=...

2018-05-19 15:52:48 611

原创正则化线性模型：岭回归 Ridge Regression、Lasso 回归、Elastic Net (弹性网络) 和 Early stopping

模型正则化(减小自由度)是减少过拟合的方法之一。对多项式模型来说，正则化可以通过减少阶数来实现。对线性模型来说，正则化往往通过约束模型的权重来实现。Ridge Regression 岭回归, 又名 Tikhonov regularization岭回归是线性回归的正则化版本，即在原来的线性回归的 cost function 中添加正则项（regularization term）:...

2018-05-11 23:58:43 10423

原创判断模型是overfit还是underfit -- learning curve 与 bias/variance tradeoff

首先，我们先生成一组大致符合二次函数规律的训练师数据，再分别用 1) 线性函数，2) 二次函数和 3) degree=300的多项式函数进行回归分析，结果如下（代码见文末）在这个示例中，degree=300的情况明显overfit训练数据，linear model为underfit。二次函数则很好的拟合了训练数据，因为训练数据就是有二次函数生成的。而通常情况下我们并不知道训练数据符合...

2018-05-11 19:57:19 7491

原创多项式回归 Polynomial Regression

前面介绍了线性拟合数据的情况。那么，当数据并不符合线性规律而是更复杂的时候应该怎么办呢？一种简单的解决方法就是将每一维特征的幂次添加为新的特征，再对所有的特征进行线性回归分析。这种方法就是多项式回归。具体做法可以从示例代码中体会一下。。。注意当存在多维特征时，多项式回归能够发现特征之间的相互关系，这是因为在添加新特征的时候，添加的是所有特征的排列组合。以Scikit-Le...

2018-05-07 17:58:36 18432 1

原创线性回归 Linear Regression (2) —— 利用梯度下降法求解 & python 实现

Gradient Descent (GD) 的核心思想迭代地调整模型参数，来最小化代价函数 cost function。沿着下降梯度的方向一旦梯度等于0，便得到了(局部)极小值。具体步骤随机初始化参数 θθ\theta (random initialization)沿着负梯度方向逐步优化 θθ\theta（逐步减小cost function的取值），直到算法收敛。...

2018-05-07 11:11:38 2113

原创线性回归 Linear Regression (1)

1. 什么是线性模型 (linear Regression model)？线性回归模型通过简单计算输入特征的加权和，再加上一个常数项，即 bias term (又称为 intercept term) 来进行预测，如式-1所示。【式-1：线性回归模型预测】 ŷ=θ0+θ1x1+θ2x2+⋯+θnxxy^=θ0+θ1x1+θ2x2+⋯+θnxx\hat{y} = \theta_0 + \...

2018-05-05 17:36:19 1624

能找到答案的，只有自己