python线性判别分析_R语言中的线性判别分析_r语言 线性判别分析

在R语言中，线性判别分析(Liner

Discriminant

Analysis，简称LDA)，依靠软件包MASS中有线性判别函数lqa()来实现。该函数有三种调用格式：

1)当对象为数据框data.frame时

lda(x,grouping,prior = propotions,tol = 1.0e-4,method,CV =

FALSE,nu,…)

2) 当对象为公式Formula时

lda(formula,data,…,subnet,na.action)

3) 当对象为矩阵Matrix时

lda(x,group,…,subnet,na.action)

对于第一种情况，grouping表示每个观测样本的所属类别；

prior表示各类别的先验概率，默认取训练集中各样本的比例；

tol表示筛选变量，默认取0.0001

对于第二种情况，formula表示判别公式，比如，y~x1 x2 x3,或者y~x1*x1

data表示数据集

subnet表示样本

na.action表示处理缺失值的方法，默认为“如果样本中有缺失值，则lda()函数无法运行”；如果设置为na.omit，则表示“自动删除样本中的缺失值，然后，进行计算”

对于第三种情况，x表示矩阵

data表示数据集

subnet表示样本

na.action表示处理缺失值的方法，默认为“如果样本中有缺失值，则lda()函数无法运行”；如果设置为na.omit，则表示“自动删除样本中的缺失值，然后，进行计算”

下面，举一个例子，来说明线性判别分析。我们选用kknn软件包中的miete数据集进行算法演示。miete数据集记录了1994年慕尼黑的住房佣金标准中一些有趣变量，比如房子的面积、是否有浴室、是否有中央供暖、是否供应热水等等，这些因素都影响着佣金的高低。

1.数据概况

首先，简单了解一下，miete数据集。

> library(kknn) > data(miete)

> head(miete)

nm wfl  bj bad0 zh ww0 badkach

fenster kueche mvdauer bjkat wflkat

1  693.29  50 1971.5

0  1

0  0  0  0  2  4

1

2  736.60  70 1971.5

0  1

0  0  0  0  26  4

2

3  732.23  50 1971.5

0  1

0  0  0  0  1  4

1

4 1295.14  55 1893.0  0  1  0

0

0

0

0

1  2

5  394.97  46 1957.0

0  0

1  0  0  0  27  3

1

6 1285.64  94 1971.5  0  1  0

1

0

0

2

4  3

nmqm rooms nmkat adr wohn

1 13.865800  1

3  2

2

2 10.522857  3

3  2

2

3 14.644600  1

3  2

2

4 23.548000  3

5  2

2

5  8.586304  3  1  2

2

6 13.677021  4

5  2

2

> dim(miete)

[1] 1082  17

我们看到，该数据集一共有1082条样本，和17个变量。下面，我们利用summary()来查看变量的信息。

> summary(miete)

nm  wfl  bj  bad0  zh  ww0

Min.  : 127.1  Min.

: 20.00  Min.

:1800  0:1051

0:202  0:1022

1st Qu.: 543.6  1st Qu.: 50.25  1st Qu.:1934  1:  31

1:880  1:

60

Median : 746.0  Median : 67.00  Median :1957

Mean  : 830.3  Mean

: 69.13  Mean

:1947

3rd Qu.:1030.0  3rd Qu.: 84.00  3rd Qu.:1972

Max.  :3130.0  Max.

:250.00  Max.

:1992

badkach fenster  kueche  mvdauer  bjkat  wflkat

nmqm

0:446  0:1024  0:980

Min.  : 0.00

1:218  1:271

Min.  : 1.573

1:636  1:  58  1:102  1st Qu.: 2.00  2:154

2:513  1st Qu.: 8.864

Median : 6.00  3:341  3:298

Median :12.041

Mean  :10.63  4:226

Mean  :12.647

3rd Qu.:17.00  5: 79  3rd Qu.:16.135

Max.  :82.00  6: 64

Max.  :35.245

rooms  nmkat  adr  wohn

Min.  :1.000  1:219

1:  25  1:

90

1st Qu.:2.000  2:230  2:1035

2:673

Median :3.000  3:210  3:

22  3:319

Mean  :2.635  4:208

3rd Qu.:3.000  5:215

Max.  :9.000

我们可以选择nmkat(净租金)作为

待判别变量—一是，由于该变量在含义上容易受其他变量影响，为被解释变量；二是，nmkat自身就有5个等级类别，其相应的样本量依次为

219、230、210、208、215，即每一类的样本量都为200个左右，分布比较均匀。

2.数据预处理

下面，我们将miete数据集，分为训练集和测试集。

为了提高判别效果，我们考虑采用分层抽样的方式，由于miete数据集中，待判别变量nmkat的5个等级分布比较均匀，因此采用5个等级按等量抽取样本。(如果分布不均匀，则采用按比例抽取样本)。具体如下：

> library(sampling) > n =

round(2/3*nrow(miete)/5) > n

[1] 144

可以看到，训练集占总样本的2/3，测试集占总样本的1/3，从训练集中nmkat变量的每一个等级抽取的样本数是144个。

> #以nmkat变量的5个等级划分层次，进行分层抽样 >

sub_train = strata(miete,stratanames =

"nmkat",size=rep(n,5),method="srswor") >

head(sub_train)

#显示训练集抽取的情况，包括nmkat变量取值、该样本在数据集中的序号、被抽取的概率、以及被抽取的层次。

nmkat ID_unit  Prob Stratum

1  3

1

0.6857143  1

2  3

2

0.6857143  1

3  3

3

0.6857143  1

16  3  16 0.6857143

1

20  3  20 0.6857143

1

22  3  22 0.6857143

1

>

> #获取如上ID_unit所对应的样本构成训练集，并删除变量1、3、12

> data_train =

getdata(miete[,c(-1,-3,-12)],sub_train$ID_unit) >

data_test = getdata(miete[,c(-1,-3,-12)],-sub_train$ID_unit)

> dim(data_train); dim(data_test)

#分别显示训练集、测试集的维度

[1] 720  14

[1] 362  14

> head(data_test)

wfl bad0 zh ww0 badkach fenster kueche mvdauer bjkat

nmqm rooms

nmkat

7  28  0

1  0  0  1  1  9  4 17.011071  1  1

8  36  0

1  0  0  0  1  3  4 19.710278  1  3

9  33  0

1  0  0  0  0  1  4 25.840606  1  4

10  57  0

1  0  1  0  1  9  6 11.534035  2  2

11  75  0

1  0  1  0  1  3  6 16.504533  3  5

17  79  0

1  0  0  0  0  20  4  7.507215  3  2

adr wohn

7  2  2

8  2  2

9  2  2

10  2  2

11  2  2

17  2  2

至此，数据理解和数据预处理过程结束，得到可以直接使用的训练集data_train和测试集data_test。

3.线性判别

这里使用公式formula格式，进行判别。首先要加载软件包MASS,接着使用nmkat作为待判别变量，其他变量作为特征变量，根据公式nmkat~.

(如果变量为y，则公式为y~. ) ，使用训练集data_train来运行 lda()函数。

> library(MASS) > fit_lda1 =

lda(nmkat~., data_train) #以公式格式进行线性判别 >

names(fit_lda1) > fit_lda1$prior

1  2  3  4

5

0.2 0.2 0.2 0.2 0.2

我们可以看到，各类别的先验概率在5个等级中都为0.2，之和为1，即它们都相等，这与它们分别均匀对应。

> fit_lda1$means

wfl  bad01

zh1

ww01  badkach1

fenster1  kueche1

1 54.87500 0.055555556 0.6041667 0.138888889 0.3888889 0.06944444

0.04166667

2 60.59722 0.013888889 0.8125000 0.027777778 0.5486111 0.08333333

0.04166667

3 66.76389 0.013888889 0.8194444 0.041666667 0.5208333 0.06944444

0.07638889

4 74.70833 0.013888889 0.8750000 0.041666667 0.6458333 0.03472222

0.07638889

5 90.10417 0.006944444 0.9375000 0.006944444 0.7708333 0.04166667

0.20833333

mvdauer  bjkat.L

bjkat.Q

bjkat.C

bjkat^4  bjkat^5

1 14.444444 -0.21580517 -0.104562739  0.031056500

0.17323372 -0.17585847

2 11.923611 -0.12450298 -0.211398581 -0.002588042 0.20604313

-0.12642562

3 11.847222 -0.12782306 -0.145478593  0.049690399

0.16273470 -0.07349309

4 10.347222 -0.08964215 -0.127293769 -0.035197366 0.12861291

0.01137393

5  5.333333 -0.04482107 -0.009092412

0.018633900 0.02624753 -0.01574852

nmqm  rooms  adr.L

adr.Q

wohn.L  wohn.Q

1  8.231574 2.173611 -0.019641855 -0.7654655

0.03437325 -0.3997431

2 10.988627 2.416667 -0.034373246 -0.7569604 0.08838835

-0.4252586

3 12.495436 2.597222 -0.019641855 -0.7654655 0.11294067

-0.3487121

4 14.107342 2.861111  0.004910464 -0.7909811

0.16695577 -0.3912379

5 17.108865 3.250000  0.019641855 -0.7484552

0.27498597 -0.2041241

从上面的结果中，可以看到一些很能反映现实情况的数据特征。比如，住房面积wfl变量，它明显随着租金nmkat的升高而逐步提高。这与我们的常识“房子的面积越大，租金就越贵”是十分吻合的。