高级数据管理

原文地址

相对于基本数据管理，此处我们将接触到R中多种数学、统计和字符处理函数，学习如何自己编写函数，包括循环和条件执行语句，以及了解数据的整合和概述方法、重塑和重构方法。

5.1 一个数据处理难题

要讨论数值和字符处理函数，不妨先考虑一个数据问题。一组学生参加了数学、科学和英语考试，需要按照某种成绩衡量指标将三门科目的成绩组合起来并排序，将前20%的学生评定为A，接下来20%的学生评定为B，依次类推。最后，将所有学生按照字母顺序进行排序并输出。

需要考虑的问题包括以下几点：

1. 三科的均值和标准差相去甚远，因此求平均值显然没有意义。在组合多门成绩之前，必须将其变换为可比较的单元；
2. 将三科成绩组合之后，需要确定一种标准来评定学生的排名；
3. 表示姓名的字段只有一个，使得排序任务复杂化。为了正确地将其排序，需要将姓和名拆开。

5.2 数值和字符处理函数

R中数据处理最为重要的函数包括数值（数学、统计、概率）函数和字符处理函数。

数学函数

常用的数学函数包括：

• abs(x)：绝对值；
• sqrt(x)：平方根；
• ceiling(x)：不小于x的最小整数；
• floor(x)：不大于x的最大整数；
• trunc(x)：向0的方向截取x的整数部分；
• round(x, digits=n)：将x舍入为指定位的小数；
• signif(x,digits=n)：将x舍入为指定的有效数字位数；
• cos(x)、sin(x)、tan(x)、acos(x)、asin(x)、atan(x)、cosh(x)、sinh(x)、tanh(x)、acosh(x)、asinh(x)、atanh(x)：三角函数；
• log(x,base=n)：对x取以n为底的对数；
• log(x)：对x取以e为底的对数；
• log10(x)：对x取以10为底的对数；
• exp(x)：e的指数函数。

统计函数

常用的统计函数包括：

• mean(x)：平均数；
• median()：中位数；
• sd(x)：标准差；
• var(x)：方差；
• mad(x)：绝对中位差；
• quantile(x,probs)：求分位数，其中x为待求分位数的数值型向量，probs为一个由[0,1]之间的概率值组成的数值向量；
• range(x)：求值域；
• sum(x)：求和；
• diff(x,lag=n)：滞后差分；
• min(x)：求最小值；
• max(x)：求最大值；
• scale(x,center=TRUE,scale=TRUE)：为数据对象x按列进行中心化或标准化。

其中许多函数都提供了丰富的可选参数，可以进一步影响输出结果。例如以下截尾平均数，丢弃了最大5%和最小5%的数据和所有缺失值后得到算数平均值。

1	z < - mean ( x , trim = 0.05 , na . rm = TRUE )

以下代码演示了计算某个数值向量均值和标准差的两种方式：

1 2 3 4 5 6 7

x < - c ( 1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 ) mean ( x ) sd ( x ) n < - length ( x ) meanx < - sum ( x ) / n css < - sum ( ( x - meanx ) ^ 2 ) sdx < - sqrt ( css / ( n - 1 ) )

不难发现，R中公式的写法和类似Matlab的矩阵运算语言有着许多共同之处。

使用以下代码对矩阵或数据框的数值列进行均值为1、标准差为0的标准化：

1	newdata < - scale ( mydata )

或者任意均值和标准差：

1	newdata < - scale ( mydata ) * SD + M

如果仅对指定列处理，则使用transform()函数：

1	newdata < - transform ( mydata , myvar = scale ( myvar ) * SD + M )

概率函数

概览函数和统计函数类似，但是通常用来生成特征已知的模拟数据，以及在用户编写的统计函数中计算概率值。

R中的每个概览函数都对应四个具体函数：d（密度函数）、p（分布函数）、q（分位数函数）和r（生成随机数）。

以正态分布为例，如果不指定均值和标准差，将会生成标准正态分布（均值为0，标准差为1），相应的密度函数（dnorm）、分布函数（pnorm）、分位数函数（qnorm）和随机生成函数（rnorm）分别如下。

1 2 3 4 5 6 7 8 9

x < - pretty ( c ( - 3 , 3 ) , 30 ) y < - dnorm ( x ) plot ( x , y , type = "l" , xlab = "NormalDeviate" , ylab = "Density" , yaxs = "i" ) #位于x=1.96左侧标准正态曲线下方的面积 pnorm ( 1.96 ) #均值为500，标准差为100正态分布的0.9分位点的值 qnorm ( . 9 , mean = 500 , sd = 100 ) #生成50个均值为50，标准差为10的正态随机数 #rnorm(50,mean=50,sd=10)

在每次生成伪随机数的时候，函数都会使用一个不同的种子，因此也会产生不同的结果。可以通过函数set.seed()显式指定种子，使得之前的结果可以重现（reproducible）。重现数据有助于创建会在未来取用的，以及可与他人分享的随机示例数据。

使用MASS包中的mvrnorm()函数可以生成来自给定均值向量和协方差矩阵的多元正态分布，以下是一个生成满足指定三元正态分布的例子。

1 2 3 4 5 6 7 8 9 10

library ( MASS ) options ( digits = 3 ) set . seed ( 1234 ) mean < - c ( 230.7 , 146.7 , 3.6 ) sigma < - matrix ( c ( 15360.8 , 6721.2 , - 47.1 , 6721.2 , 4700.9 , - 16.5 , - 47.1 , - 16.5 , 0.3 ) , nrow = 3 , ncol = 3 ) mydata < - mvrnorm ( 500 , mean , sigma ) mydata < - as . data . frame ( mydata ) names ( c ( "y" , "x1" , "x2" ) ) dim ( mydata ) head ( mydata , n = 10 )

字符处理函数

数学和统计函数用于处理数值型数据，而字符处理函数用于从文本型数据中抽取信息。

• nchar(x)：计算x中的字符数量；
• substr(x, start, stop)：提取或替换子串；
• grep(pattern, x, ignore.case=FALSE, fixed=FALSE)：在x中搜索某种模式，fixed=FALSE则pattern为一个正则表达式，否则pattern为一个文本字符串，返回值为匹配的下标；
• sub(pattern, replacement, x, ignore.case=FALSE, fixed=FALSE)：在x中搜索某种模式并替换；
• strsplit(x, split, fixed=FALSE)：在split处分隔字符向量x中的元素；
• paste(…, sep=””)：连接字符串，分隔符为sep。paste(“x”, 1:3, sep=””)返回值为c(“x1”, “x2”, “x3”)，paste(“x”, 1:3, sep=”M”)返回值为c(“xM1”, “xM2”, “xM3”)；
• toupper(x)：大写转换；
• tolower()：小写转换。

其他实用函数

• length(x)：x的长度；
• seq(from, to, by)：生成一个序列，by为步长；
• rep(x, n)：将x重复n次；
• cut(x ,n)：将连续型变量x分割为n个水平的因子；
• pretty(x, n)：通过选取n+1个等间距的取整值，将一个连续型变量分割为n个区间；
• cat(…, file=”mayflies”, append=TRUE)：连接…中的对象，并将其输出到屏幕上或文件中。

在R中，函数可以应用到一系列数据对象上，包括标量、向量、矩阵、数组和数据框（和Matlab类似）。如果希望函数应用于矩阵的各行或者各列，可以考虑apply()函数。

1	apply ( x , MARGIN , FUN , . . . )

MARGIN是维度的下标，1表示行、2表示列，FUN可以是内置函数或者你自己编写的函数，…为可选参数。

1 2 3 4

mydata < - matrix ( rnorm ( 30 ) , nrow = 6 ) apply ( mydata , 1 , mean ) apply ( mydata , 2 , mean ) apply ( mydata , 2 , mean , trim = 0.2 )

和apply()应用于矩阵一样，lapply()和sapply()则将函数应用于列表上。

5.3 数据处理难题的一套解决方案

回到我们之前的问题，组合三门成绩、按衡量指标排名、按区间分段打分、按姓名排序。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

options ( digits = 3 ) Student < - c ( "John Davis" , "Angela Williams" , "Bullwinkle Moose" , "David Jones" , "Janice Markhammer" , "Cheryl Cushing" , "Reuven Ytzrhak" , "Greg Knox" , "Joel England" , "Mary Rayburn" ) Math < - c ( 502 , 600 , 412 , 358 , 495 , 512 , 410 , 625 , 573 , 522 ) Science < - c ( 95 , 99 , 80 , 82 , 75 , 85 , 80 , 95 , 89 , 86 ) English < - c ( 25 , 22 , 18 , 15 , 20 , 28 , 15 , 30 , 27 , 18 ) roster < - data . frame ( Student , Math , Science , English , stringsAsFactors = FALSE ) z < - scale ( roster [ , 2 : 4 ] ) score < - apply ( z , 1 , mean ) roster < - cbind ( roster , score ) y < - quantile ( score , c ( . 8 , . 6 , . 4 , . 2 ) ) roster $ grade [ score >= y [ 1 ] ] < - "A" roster $ grade [ score < y [ 1 ] & score >= y [ 2 ] ] < - "B" roster $ grade [ score < y [ 2 ] & score >= y [ 3 ] ] < - "C" roster $ grade [ score < y [ 3 ] & score >= y [ 4 ] ] < - "D" roster $ grade [ score < y [ 4 ] ] < - "F" name < - strsplit ( ( roster $ Student ) , " " ) Lastname < - sapply ( name , "[" , 2 ) Firstname < - sapply ( name , "[" , 1 ) roster < - cbind ( Firstname , Lastname , roster [ , - 1 ] ) roster < - roster [ order ( Lastname , Firstname ) , ]

最后查看roster，你应当得到如下结果。

5.4 控制流

在正常情况下，R程序中的语句是从上至下执行的。当然有时候你需要控制程序的执行流，即使用条件和循环。

为了理解贯穿接下来内容的语法示例，请牢记以下概念：

• 语句（statement）是一条单独的R语句或一组复合语句（包含在｛｝中的一组R语句，使用分号分割）；
• 条件（cond）是一条最终被解析为逻辑值的表达式；
• 表达式（expr）是一条数值或字符串的求值语句；
• 序列（seq）是一个数值或字符串序列。

重复和循环

循环结构重复地执行一个或一系列语句，直到某个条件不再为真，循环结构包括for循环和while循环。

1 2	for ( var in seq ) statement while ( cond ) statement

在以下的例子中，单词Hello被输出了10次。

1 2 3

for ( i in 1 : 10 ) print ( "Hello" ) i < - 10 while ( i > 0 ) { print ( "Hello" ) ; i < - i - 1 }

使用循环的时候，记得在循环里修改标记量，避免导致死循环。

在处理大数据集中的行和列时，R中的循环可能比较低效耗时，应该尽可能使用R中内建的数值/字符处理函数和apply()族函数。

条件执行

在条件执行结构中，一条或一组语句仅在满足指定条件时执行。条件执行结构包括if-else、ifelse和switch。

1 2 3 4

if ( cond ) statement if ( cond ) statement1 else statement2 ifelse ( cond , statement1 , statement2 ) switch ( expre , . . . )

再给出一个使用switch的例子，虽然简单但清晰说明了switch的使用方法。

1 2 3 4 5 6 7 8 9 10

feelings < - c ( "sad" , "afraid" ) for ( i in feelings )      print (          switch ( i ,              happy = "I'm glad you are happy" ,              afraid = "There is nothing to fear" ,              sad = "Cheer up" ,              angry = "Calm down now"          )      )

5.5 用户自编函数

R最大的优点之一就是支持用户自行添加函数，R中许多函数也是基于已由函数构成的，一个函数的结构大概如下：

1 2 3 4

myfunction < - function ( arg1 , arg2 , . . . ) {      statements      return ( object ) }

函数中的对象只在函数内部使用（记得｛｝的作用吗？），返回对象的数据类型是任意的，从标量到列表皆可。

1 2 3 4 5 6 7 8 9 10 11 12 13 14

mystats < - function ( x , parametric = TRUE , print = FALSE ) {      if ( parametric ) {          center < - mean ( x ) ; spread < - sd ( x )      } else {          center < - median ( x ) ; spread < - mad ( x )      }      if ( print & parametric ) {          cat ( "Mean=" , center , "\n" , "SD=" , spread , "\n" )      } else if ( print & ! parametric ) {          cat ( "Median=" , center , "\n" , "MAD=" , spread , "\n" )      }      result < - list ( center = center , spread = spread )      return ( result ) }

要查看此函数的运行情况，则需要生成一些测试数据并调用。

1 2 3 4

set . seed ( 1234 ) x < - rnorm ( 500 ) y < - mystats ( x ) z < - mystats ( x , parametric = FALSE , print = TRUE )

在所得结果中，y$center为均值（0.00184），y$spread为标准差（1.03），并且没有输出结果；z$center为中位数（-0.0207），z$spread为绝对中位差（1.001），并且还会在屏幕上打印信息。

再来看一个使用了switch的用户自编函数，该函数可以让用户选择输出当天日期的格式。

1 2 3 4 5 6 7 8 9 10 11

mydate < - function ( type = "long" ) {      switch ( type ,          long = format ( Sys . time ( ) , "%A %B %d %Y" ) ,          short = format ( Sys . time ( ) , "%m-%d-%y" ) ,          cat ( type , "is not a recognized type\n" )      ) } mydate ( "long" ) mydate ( "short" ) mydate ( ) mydate ( "medium" )

switch中的最后一条语句给出了如何处理错误（或其他意料之外）的输入。除此之外，还有一些函数可以用来为函数添加错误捕获和纠正功能，如使用warning()生成一条错误提示信息，用message()生成一条诊断信息，用stop()停止当前表达式的执行并提示错误。如果希望了解更多关于调试程序的内容，请阅读Duncan Murdoch整理的“Debugging in R”。

5.6 整合与重构

R中提供了许多用于整合（aggregate）和重塑（reshape）数据的强大方法，整合数据是指将多组观测替换为根据这些观测计算的描述性统计量，重塑数据是指通过修改数据的结构（行和列）来决定数据的组织方式。

以下例子中，将会使用已包含在R基本安装中的数据框mtcars。该数据集从Motor Trend杂志（1974）提取，描述了34种车型的设计和性能特点（汽缸数、排量、马力、每加仑汽油行驶的英里数）。

转置

使用函数t()即可对一个矩阵或数据框进行转置，对于后者，行名将成为列名。

1 2 3

cars < - mtcars [ 1 : 5 , 1 : 4 ] cars t ( cars )

整合数据

在R中使用一个或多个by变量和一个预先定义好的函数来整合（collapse）数据十分容易。

1	aggregate ( x , by , FUN )

其中x为待整合的数据对象，by是一个变量名组成的列表，这些变量将被去掉以形成新的观测，FUN是用来计算描述性统计量的标量函数，它将被用来计算新观测中的值。以下代码根据汽缸数和档位数整合mtcars数据，并返回各个数值型变量的均值。

1 2 3 4

options ( digits = 3 ) attach ( mtcars ) aggdata < - aggregate ( mtcars , by = list ( cyl , gear ) , FUN = mean , na . rm = TRUE ) aggdata

将会得到以下结果。如何理解呢？例如第一行，拥有4个气缸和3个档位的车型，每加仑汽油行驶英里数（mpg）均值为21.5。需要注意的是，by中的参数必须写在一个列表中（即使只有一个参数）。

Reshape包

reshape包是一套重构和整合数据集的万能工具。由于reshape包并未内置在R的标准安装中，所以有必要通过install.packages(“reshape”)进行安装。

我们的操作大概包括两部分：融合（melt），使得每一行都是一个唯一的标识符和变量的组合；重铸（cast），将数据集变成任何需要的形状。接下来代码中，将处理以下样例数据。

融合

融合使得每个测量变量独占一行，行中必须带有唯一确定该测量的标识符变量。

1 2	library ( reshape ) md < - melt ( mydata , id = c ( "id" , "time" ) )

注意，必须指定要唯一确定每个测量所需的变量（ID和Time），而表示测量变量名的变量（X1和X2）将由程序自动创建。

既然已经拥有了融合后的数据，现在便可以使用cast()函数将其重铸为任意形状了。

重铸

cast()函数读取已融合的数据，并使用提供的公式和一个（可选的）用于整合数据的函数将其重铸。

1	newdata < - cast ( md , formula , FUN )

接受的公式形如：

1	rowvar1 + rowvar2 + . . . + ~ colvar1 + colvar2 + . . .

rowvar1+rowvar2+…定义了要去掉的变量集合，以确定各行的内容；colvar1+colvar2+…定义了要去掉的变量集合，以确定各列的内容。下图给出了使用cast()函数处理样例数据的例子。

 r