(1):数据挖掘相关包的介绍

   今天发现一个很不错的博客(http://www.RDataMining.com),博主致力于研究R语言在数据挖掘方面的应用,正好近期很想系统的学习一下R语言和数据挖掘的整个流程,看了这个博客的内容,心里久久不能平静。决定从今天开始,只要晚上能在11点之前把碗洗好,就花一个小时的时间学习博客上的内容,并把学习过程中记不住的信息记录下来,顺便把离英语四级的差距尽量缩小。

   下面列出了可用于数据挖掘的R包和函数的集合。其中一些不是专门为了数据挖掘而开发,但数据挖掘过程中这些包能帮我们不少忙,所以也包含进来。

1、聚类

  • 常用的包: fpc,cluster,pvclust,mclust

  • 基于划分的方法: kmeans, pam, pamk, clara

  • 基于层次的方法: hclust, pvclust, agnes, diana

  • 基于模型的方法: mclust

  • 基于密度的方法: dbscan

  • 基于画图的方法: plotcluster, plot.hclust

  • 基于验证的方法: cluster.stats

2、分类

  • 常用的包:

    rpart,party,randomForest,rpartOrdinal,tree,marginTree,

    maptree,survival

  • 决策树: rpart, ctree

  • 随机森林: cforest, randomForest

  • 回归, Logistic回归, Poisson回归: glm, predict, residuals

  • 生存分析: survfit, survdiff, coxph

3、关联规则与频繁项集

  • 常用的包:

    arules:支持挖掘频繁项集,最大频繁项集,频繁闭项目集和关联规则

    DRM:回归和分类数据的重复关联模型

  • APRIORI算法,广度RST算法:apriori, drm

  • ECLAT算法: 采用等价类,RST深度搜索和集合的交集: eclat

4、序列模式

  • 常用的包: arulesSequences

  • SPADE算法: cSPADE

5、时间序列

  • 常用的包: timsac

  • 时间序列构建函数: ts

  • 成分分解: decomp, decompose, stl, tsr

6、统计

  • 常用的包: Base R, nlme

  • 方差分析: aov, anova

  • 密度分析: density

  • 假设检验:  t.test, prop.test, anova, aov

  • 线性混合模型:lme

  • 主成分分析和因子分析:princomp

7、图表

  • 条形图: barplot

  • 饼图: pie

  • 散点图: dotchart

  • 直方图: hist

  • 密度图: densityplot

  • 蜡烛图, 箱形图 boxplot

  • QQ (quantile-quantile) 图: qqnorm, qqplot, qqline

  • Bi-variate plot: coplot

  • 树: rpart

  • Parallel coordinates: parallel, paracoor, parcoord

  • 热图, contour: contour, filled.contour

  • 其他图: stripplot, sunflowerplot, interaction.plot, matplot, fourfoldplot,
    assocplot, mosaicplot

  • 保存的图表格式: pdf, postscript, win.metafile, jpeg, bmp, png

8、数据操作

  • 缺失值:na.omit

  • 变量标准化:scale

  • 变量转置:t

  • 抽样:sample

  • 堆栈:stack, unstack

  • 其他:aggregate, merge, reshape

9、与数据挖掘软件Weka做接口

  • RWeka: 通过这个接口,可以在R中使用Weka的所有算法。


   菜已经买回来,锅也准备好了,明天晚上接着学习不同的菜怎么放入锅里( 数据的导入与导出)。

(2):数据的导入与导出

   晚主要学习如何把几种常用的数据格式导入到R中进行处理,并简单介绍如何把R中的数据保存为R数据格式和csv文件。


1、保存和加载R的数据(与R.data的交互:save()函数和load()函数)
a <- 1:10
save(a, file = "data/dumData.Rdata")  # data文件为当前工作目录下的文件,必须存在
rm(a)
load("data/dumData.Rdata")
print(a)

2、导入和加载.csv文件(write.csv()函数和read.csv()函数)
var1 <- 1:5
var2 <- (1:5) / 10
var3 <- c("R", "and", "Data Mining", "Examples", "Case Studies")
a <- data.frame(var1, var2, var3)
names(a) <- c("VariableInt", "VariableReal", "VariableChar")
write.csv(a, "data/dummmyData.csv", row.names = FALSE)
b <- read.csv("data/dummmyData.csv")

3、导入SPSS/SAS/Matlab等数据集
# 导入spss的sav格式数据则要用到foreign扩展包,加载后直接用read.spss读取sav文件
library(foreign)
mydata=read.spss('d:/test.sav')
# 上面的函数在很多情况下没能将sav文件中的附加信息导进来,例如数据的label,
# 那么建议用Hmisc扩展包的spss.get函数,效果会更好一些。
library(Hmisc)
data=spss.get("D:/test.sav")

4、导入数据库中的数据
library(RODBC)
Connection <- odbcConnect(dsn="servername",uid="userid",pwd="******")
Query <- "SELECT * FROM lib.table WHERE ..."
# Query <- readChar("data/myQuery.sql", nchars=99999)     或者选择从SQL文件中读入语句
myData <- sqlQuery(Connection, Query, errors=TRUE)
odbcCloseAll()

5、导入Excel数据
library(RODBC)
channel=odbcConnectExcel("d:/test.xls")
mydata=sqlFetch(channel,'Sheet1')      # 如果是Excel2007格式数据则要换一个函数odbcConnectExcel2007

   把数据导入R以后,紧跟着该对数据进行描述性分析了,明天晚上再继续拉~水饺去了~                                            

(3):数据探索

   在开始一个数据分析项目之前,都非常有必要了解一下我们的数据,今天晚上主要整理数据探索方面一些常用的代码:

一、先看看数据

我们首先要先了解一下数据的尺寸和结构:

dim(iris)         # 了解数据集的维度,有多少行多少列?

names(iris)       # 数据有哪些列?

str(iris)         # 数据的结构如何?

attributes(iris)  # 数据的列名、行名和数据结构

然后看看数据集前几行和后几行长成什么样子:

iris[1:5, ]       # 看看数据的前5行

head(iris)        # 看看数据的前6行

tail(iris)        # 看看数据的最后6行

iris[1:10, "Sepal.Length"]      # Sepal.Length变量的前10个取值

iris$Sepal.Length[1:10]         # 用另外一种形式取出


二、看看单个变量的情况

summary(iris)     # 看看单个变量的关键数据:最小值、25%分位数、中位数、均值、75%分位数、最大值

quantile(iris$Sepal.Length)     # 单个变量的1%、25%、50%、75%、100%分位数

quantile(iris$Sepal.Length, c(0.1, 0.3, 0.65)) # 指定分位点对应的分位数

mean(),median(),range()     # 返回均值、中位数和数据的范围

对于连续变量:

var()                               # 返回变量的方差    

hist(iris$Sepal.Length)             # 画出变量的直方图,看看变量的分布情况

plot(density(iris$Sepal.Length))    # 画出变量的密度函数图

对于类别变量:

table(iris$Species)                 # 统计每个类别的计数,了解一下各个类别的分布

pie(table(iris$Species))            # 画出每个类别的占比饼图

barplot(table(iris$Species))        # 画出柱状图


三、观察多个变量之间的关系

首先看看变量之间的相关性:

cov(iris[ , 1:4])     # 计算变量之间的协方差矩阵

cor(iris[ , 1:4])     # 计算变量之间的相关系数矩阵

然后研究一些在不同的目标变量水平下,某变量的基本情况:

aggregate(Sepal.Length~Spacies, summary, data=iris) # 对于Sepal.Length变量,在每个Species水平上执行summary计算

boxplot(Sepal.Length~Species, data=iris)    # 针对每个Species水平绘制Sepal.Length的盒形图

with(iris, plot(Sepal.Length, Sepal.Width, col=Species, pch=as.numeric(Species))) #针对每个Species水平绘制两个变量的散点图,并用颜色和点状区分

plot(jitter(iris$Sepal.Length), jitter(iris$Sepal.Width))    #标示散点图中的重叠图

接着用图形的方式研究变量之间的关系:

pairs(iris)         # 绘制任意两个矩阵之间的散点图,发现变量之间的相关性


四、看看其他方面

三维散点图(scatterplot3d包)

library(scatterplot3d)
scatterplot3d(iris$Petal.Width, iris$Sepal.Length, iris$Sepal.Width)

构造相似性矩阵,用热图可视化样本之间的相似性:

distMatrix <- as.matrix(dist(iris[,1:4]))
heatmap(distMatrix)

以Sepal.Length和Sepal.Width为横纵坐标,分水平,以Petal.Width大小为颜色,探索数据之间的关系:

library(lattice)
levelplot(Petal.Width~Sepal.Length*Sepal.Width, iris, cuts=9,col.regions=grey.colors(10)[10:1])

以等高线的形式探索数据的关系:

library(lattice)

filled.contour(volcano, color=terrain.colors, asp=1,plot.axes=contour(volcano, add=T))

画一顶帽子:

persp(volcano, theta = 25, phi = 30, expand = 0.5, col = "lightblue")

平面坐标可视化,研究不同类别变量之间的差异:

library(MASS)
parcoord(iris[1:4], col=iris$Species)

还可以用另外一个函数实现

library(lattice)
parallelplot(~iris[1:4] | Species, data=iris)

最后介绍一下ggplot2这个包,非常强悍,后续专门找一个晚上重点学习,一个简单的例子:

根据Species的不同类别,绘制Sepal.Length和Sepal.Width的散点图。

library(ggplot2)
qplot(Sepal.Length, Sepal.Width, data=iris, facets=Species ~.)


五、保存图片

# save as a PDF file
pdf("myPlot.pdf")
x <- 1:50
plot(x, log(x))
graphics.off()
# Save as a postscript file(PS文件)
postscript("myPlot2.ps")
x <- -20:20
plot(x, x^2)
graphics.off()

   数据探索的学习就到这里咯,还有半个小时的时间,再整理一下决策树,哈哈,下回见啦~


fgx292.gif

全文转载自iData的学习笔记http://datapig.diandian.com/post/2012-06-13/R-Datamining01

感谢作者的分享!