(1):数据挖掘相关包的介绍
今天发现一个很不错的博客(http://www.RDataMining.com),博主致力于研究R语言在数据挖掘方面的应用,正好近期很想系统的学习一下R语言和数据挖掘的整个流程,看了这个博客的内容,心里久久不能平静。决定从今天开始,只要晚上能在11点之前把碗洗好,就花一个小时的时间学习博客上的内容,并把学习过程中记不住的信息记录下来,顺便把离英语四级的差距尽量缩小。
下面列出了可用于数据挖掘的R包和函数的集合。其中一些不是专门为了数据挖掘而开发,但数据挖掘过程中这些包能帮我们不少忙,所以也包含进来。
1、聚类
常用的包: fpc,cluster,pvclust,mclust
基于划分的方法: kmeans, pam, pamk, clara
基于层次的方法: hclust, pvclust, agnes, diana
基于模型的方法: mclust
基于密度的方法: dbscan
基于画图的方法: plotcluster, plot.hclust
基于验证的方法: cluster.stats
2、分类
常用的包:
rpart,party,randomForest,rpartOrdinal,tree,marginTree,
maptree,survival
决策树: rpart, ctree
随机森林: cforest, randomForest
回归, Logistic回归, Poisson回归: glm, predict, residuals
生存分析: survfit, survdiff, coxph
3、关联规则与频繁项集
常用的包:
arules:支持挖掘频繁项集,最大频繁项集,频繁闭项目集和关联规则
DRM:回归和分类数据的重复关联模型
APRIORI算法,广度RST算法:apriori, drm
ECLAT算法: 采用等价类,RST深度搜索和集合的交集: eclat
4、序列模式
常用的包: arulesSequences
SPADE算法: cSPADE
5、时间序列
常用的包: timsac
时间序列构建函数: ts
成分分解: decomp, decompose, stl, tsr
6、统计
常用的包: Base R, nlme
方差分析: aov, anova
密度分析: density
假设检验: t.test, prop.test, anova, aov
线性混合模型:lme
主成分分析和因子分析:princomp
7、图表
条形图: barplot
饼图: pie
散点图: dotchart
直方图: hist
密度图: densityplot
蜡烛图, 箱形图 boxplot
QQ (quantile-quantile) 图: qqnorm, qqplot, qqline
Bi-variate plot: coplot
树: rpart
Parallel coordinates: parallel, paracoor, parcoord
热图, contour: contour, filled.contour
其他图: stripplot, sunflowerplot, interaction.plot, matplot, fourfoldplot,
assocplot, mosaicplot保存的图表格式: pdf, postscript, win.metafile, jpeg, bmp, png
8、数据操作
缺失值:na.omit
变量标准化:scale
变量转置:t
抽样:sample
堆栈:stack, unstack
其他:aggregate, merge, reshape
9、与数据挖掘软件Weka做接口
RWeka: 通过这个接口,可以在R中使用Weka的所有算法。
菜已经买回来,锅也准备好了,明天晚上接着学习不同的菜怎么放入锅里( 数据的导入与导出)。
(2):数据的导入与导出
晚主要学习如何把几种常用的数据格式导入到R中进行处理,并简单介绍如何把R中的数据保存为R数据格式和csv文件。
1、保存和加载R的数据(与R.data的交互:save()函数和load()函数)
a <- 1:10
save(a, file = "data/dumData.Rdata") # data文件为当前工作目录下的文件,必须存在
rm(a)
load("data/dumData.Rdata")
print(a)
2、导入和加载.csv文件(write.csv()函数和read.csv()函数)
var1 <- 1:5
var2 <- (1:5) / 10
var3 <- c("R", "and", "Data Mining", "Examples", "Case Studies")
a <- data.frame(var1, var2, var3)
names(a) <- c("VariableInt", "VariableReal", "VariableChar")
write.csv(a, "data/dummmyData.csv", row.names = FALSE)
b <- read.csv("data/dummmyData.csv")
3、导入SPSS/SAS/Matlab等数据集
# 导入spss的sav格式数据则要用到foreign扩展包,加载后直接用read.spss读取sav文件
library(foreign)
mydata=read.spss('d:/test.sav')
# 上面的函数在很多情况下没能将sav文件中的附加信息导进来,例如数据的label,
# 那么建议用Hmisc扩展包的spss.get函数,效果会更好一些。
library(Hmisc)
data=spss.get("D:/test.sav")
4、导入数据库中的数据
library(RODBC)
Connection <- odbcConnect(dsn="servername",uid="userid",pwd="******")
Query <- "SELECT * FROM lib.table WHERE ..."
# Query <- readChar("data/myQuery.sql", nchars=99999) 或者选择从SQL文件中读入语句
myData <- sqlQuery(Connection, Query, errors=TRUE)
odbcCloseAll()
5、导入Excel数据
library(RODBC)
channel=odbcConnectExcel("d:/test.xls")
mydata=sqlFetch(channel,'Sheet1') # 如果是Excel2007格式数据则要换一个函数odbcConnectExcel2007
把数据导入R以后,紧跟着该对数据进行描述性分析了,明天晚上再继续拉~水饺去了~
(3):数据探索
在开始一个数据分析项目之前,都非常有必要了解一下我们的数据,今天晚上主要整理数据探索方面一些常用的代码:
一、先看看数据
我们首先要先了解一下数据的尺寸和结构:
dim(iris) # 了解数据集的维度,有多少行多少列?
names(iris) # 数据有哪些列?
str(iris) # 数据的结构如何?
attributes(iris) # 数据的列名、行名和数据结构
然后看看数据集前几行和后几行长成什么样子:
iris[1:5, ] # 看看数据的前5行
head(iris) # 看看数据的前6行
tail(iris) # 看看数据的最后6行
iris[1:10, "Sepal.Length"] # Sepal.Length变量的前10个取值
iris$Sepal.Length[1:10] # 用另外一种形式取出
二、看看单个变量的情况
summary(iris) # 看看单个变量的关键数据:最小值、25%分位数、中位数、均值、75%分位数、最大值
quantile(iris$Sepal.Length) # 单个变量的1%、25%、50%、75%、100%分位数
quantile(iris$Sepal.Length, c(0.1, 0.3, 0.65)) # 指定分位点对应的分位数
mean(),median(),range() # 返回均值、中位数和数据的范围
对于连续变量:
var() # 返回变量的方差
hist(iris$Sepal.Length) # 画出变量的直方图,看看变量的分布情况
plot(density(iris$Sepal.Length)) # 画出变量的密度函数图
对于类别变量:
table(iris$Species) # 统计每个类别的计数,了解一下各个类别的分布
pie(table(iris$Species)) # 画出每个类别的占比饼图
barplot(table(iris$Species)) # 画出柱状图
三、观察多个变量之间的关系
首先看看变量之间的相关性:
cov(iris[ , 1:4]) # 计算变量之间的协方差矩阵
cor(iris[ , 1:4]) # 计算变量之间的相关系数矩阵
然后研究一些在不同的目标变量水平下,某变量的基本情况:
aggregate(Sepal.Length~Spacies, summary, data=iris) # 对于Sepal.Length变量,在每个Species水平上执行summary计算
boxplot(Sepal.Length~Species, data=iris) # 针对每个Species水平绘制Sepal.Length的盒形图
with(iris, plot(Sepal.Length, Sepal.Width, col=Species, pch=as.numeric(Species))) #针对每个Species水平绘制两个变量的散点图,并用颜色和点状区分
plot(jitter(iris$Sepal.Length), jitter(iris$Sepal.Width)) #标示散点图中的重叠图
接着用图形的方式研究变量之间的关系:
pairs(iris) # 绘制任意两个矩阵之间的散点图,发现变量之间的相关性
四、看看其他方面
三维散点图(scatterplot3d包):
library(scatterplot3d)
scatterplot3d(iris$Petal.Width, iris$Sepal.Length, iris$Sepal.Width)
构造相似性矩阵,用热图可视化样本之间的相似性:
distMatrix <- as.matrix(dist(iris[,1:4]))
heatmap(distMatrix)
以Sepal.Length和Sepal.Width为横纵坐标,分水平,以Petal.Width大小为颜色,探索数据之间的关系:
library(lattice)
levelplot(Petal.Width~Sepal.Length*Sepal.Width, iris, cuts=9,col.regions=grey.colors(10)[10:1])
以等高线的形式探索数据的关系:
library(lattice)
filled.contour(volcano, color=terrain.colors, asp=1,plot.axes=contour(volcano, add=T))
画一顶帽子:
persp(volcano, theta = 25, phi = 30, expand = 0.5, col = "lightblue")
平面坐标可视化,研究不同类别变量之间的差异:
library(MASS)
parcoord(iris[1:4], col=iris$Species)
还可以用另外一个函数实现
library(lattice)
parallelplot(~iris[1:4] | Species, data=iris)
最后介绍一下ggplot2这个包,非常强悍,后续专门找一个晚上重点学习,一个简单的例子:
根据Species的不同类别,绘制Sepal.Length和Sepal.Width的散点图。
library(ggplot2)
qplot(Sepal.Length, Sepal.Width, data=iris, facets=Species ~.)
五、保存图片
# save as a PDF file
pdf("myPlot.pdf")
x <- 1:50
plot(x, log(x))
graphics.off()
# Save as a postscript file(PS文件)
postscript("myPlot2.ps")
x <- -20:20
plot(x, x^2)
graphics.off()
数据探索的学习就到这里咯,还有半个小时的时间,再整理一下决策树,哈哈,下回见啦~
全文转载自iData的学习笔记http://datapig.diandian.com/post/2012-06-13/R-Datamining01
感谢作者的分享!
转载于:https://blog.51cto.com/psnx168/1386091