监督学习初步---线性分类器

原创 2016年05月30日 13:41:15

1. Introduction


监督学习(supervised learning):粗糙的说就是需要利用输入值来预测输出.

变量解释:

X:输入变量
Y:定量输出
G:定性输出,GG
xi:X的第i个观测值
X:矩阵

Example 1. Handwritten Digit Recognition

目标为预测给定图中的数字,其中G={0,1,2,...,9}.

部分样本如下图:
example1


2. Linear models and OLS


2.1 模型简介


输入向量XT=(X1,...Xp),预测输出

Y^=β^0+j=1pXjβ^j=XTβ

利用最小二乘(OLS)估计β^

β^=argminRSS(β)=argmini=1nxiβ^=(XTX)1XTy


2.2 统计理论分析


假设输入输出的联合分布函数为P(X,Y),回归函数为f(x)
期望均方预测误差

EPE(f)=E(Yf(X))2

从而
f(x)=argminEPE(f)=E(Y|X=x)

根据中心极限定理f^fa.s..

也就是说当f(x)=xTβ时,有

β=argminEPE(β)==[E(XTX)]1E[XTY]

β^β.


3. Linear Regression of an Indicator Matrix


Indicator Matrix:矩阵的元素只有0和1,且每一行只有一个1,其它均为0.

考虑模型输出为定性输出,GG={1,2,...,K}

定义示性函数Yk,k=1,2,...,K

Yk={10G=kelse

定义向量
Y=(Y1,...,YK)

只有一个元素为1,其它均为0,进行N次观测,可以定义N×K维观测矩阵Y为Indicator Matrix.
B^=(XTX)1XTY

给定一个新的输入x,分类方法如下:

  • 计算拟合值f^(x)=[(1,x)B^]T,K

  • 计算G^(x)=argmaxkGf^k(x)

NOTE:因为fk(x)=E(Yk|X=x),Yk为示性函数,示性函数的期望值为概率值,即

fk(x)=E(Yk|X=x)=P(Yk=1|X=x)=P(G=k|X=x)

从而
kGfk(x)=1


Example 2:使用R-MASS包中的Iris数据,有4个自变量Sepal.L.,Sepal.W.,Petal.L.,与Petal.W,因变量取值SpG={s,c,v}.

部分数据
Iris

变量之间的关系
relation

通过图片的最后一行或者最后一列可以看到,可以使用线性分类器对Sp进行预测.
将Sp转化为示性函数矩阵后计算

B^=(XTX)1XTY

B^为4*3的矩阵,以图中数据第一行作为新的输入计算拟合值为

f^=(0.9814216,0.1579605,0.118288)
从而判断为s类,与真实分类相符.
R语言代码

rm(list=ls())
library(MASS)
Iris <- data.frame(rbind(iris3[,,1], iris3[,,2], iris3[,,3]),
                   Sp = rep(c("s","c","v"), rep(50,3)))
X=as.matrix(Iris[,1:4])
G<-gl(3,50)
Y=matrix(0,nrow=150,ncol=3)
for(i in 1:150)
 Y[i,G[i]]=1
BETA<-solve(crossprod(X,X))%*%crossprod(X,Y)
F<-X%*%BETA
for(i in 1:150)
F[i,F[i,]<max(F[i,])]=0
for(i in 1:150)
F[i,F[i,]==max(F[i,])]=1

sum(F[,1])
##[1] 51
sum(F[,2])
##[1] 45
sum(F[,3])
##[1] 54

ref 1 :J.F. et.al. The elements of statistical learning.2008.

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

SVM分类器原理详解

第一层、了解SVM     支持向量机,因其英文名为support vector machine,故一般简称SVM,通俗来讲,它是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,...
  • mm_bit
  • mm_bit
  • 2015-08-21 11:51
  • 11245

Stanford cs231n笔记(一)KNN和线性分类器

author:DivinerShi学习cs231n的笔记,之前一直手写保存在笔记本上,现在准备面试复习下,就顺便过一遍,放到博客上,方便日后再看。 英文笔记:http://cs231n.github...

机器学习:有监督算法之分类

说明:机器学习横跨计算机科学、工程技术和统计学等多个科学。人们很难直接从原始数据本身获得所需信息,机器学习可以把无序的数据转换成有用的信息;移动计算和传感器产生的海量数据意味着未来将面临越来越多的数据...

模式识别中监督学习与非监督学习的简易理解,摘自百度

 有监督学习(supervised learning)和无监督学习(unsupervised learning) 机器学习的常用方法,主要分为有监督学习(supervised learnin...

监督学习——线性回归(二)

上回博客中,我们介绍了LMS算法,它通过梯度下降来最小化J(θ)。接下来介绍第二种方法:标准方程(The normal equations),它不需要借助重复算法而直接求出最小化J(θ)时参数的θ...

监督学习之线性回归

一、监督学习 让我们首先谈一些监督学习问题的例子。假定我们有一个数据集,数据集中给出了来自俄勒冈波特兰的47所房子的居住面积(living areas)和价格(price): 我们可以将这些数据标...

CS229 Lecture Note 1(监督学习、线性回归)

CS229 Lecture Note 1(监督学习、线性回归)

机器学习->监督学习->线性回归(LASSO,Ridge,SGD)

本篇博文主要总结线性回归,线性回归虽然简单,但是却是很重要,我将沿着以下几个主题总结 最小二乘法 使用极大似然估计来解释最小二乘 的解析式的求解过程 线性回归的复杂度惩罚因子(LASSO,Ridge)...

监督学习之广义线性模型

第三部分  广义线性模型 到目前为止,我们已经见到了一个回归的例子和一个分类的例子。在回归的例子里,我们有,在分类问题中我们有,和是某些合适定义的和的函数。在这节中,我们将会展示这两个方法都是一个更广...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)