R 文本挖掘 Part2--几个聚类分类算法以及应用

一、一些聚类，分类算法
1.k-means
http://blog.sina.com.cn/s/blog_4ac9f56e0101h8xp.html
2.系统 层次
http://blog.sina.com.cn/s/blog_615770bd01018dnj.html
3.文本分类 knn
http://blog.csdn.net/cl1143015961/article/details/44413631

二、例子：k-means, 系统，k-中心，knn，svm，kernel聚类
其中knn方法可以替代一中的3方法
1.层次聚类

    library(tm)
    reut21<-system.file('texts','crude',package = 'tm')
    reuts<-Corpus(DirSource(reut21),readerControl = list(reader = readReut21578XML) )

    data(crude)
    data(acq)
    #词条文档
    crudeTDM<-TermDocumentMatrix(crude,control = list(stopwords = TRUE))
    inspect(crudeTDM)
    ##dissimilarity(crudeTDM,method ='cosine') 新版没有了
    #crudeDTM <- removeSparseTerms(crudeDTM, 0.8) #可以选择去除权重较小的项
    crudeTDM.matrix <- as.matrix(crudeTDM)
    ##距离矩阵  
    dist(crudeTDM.matrix,method = 'euclidean')


    inspect(acq)
    m<-c(acq,crude)  ##组合
    dtm<-DocumentTermMatrix(m)
    dtm<-removeSparseTerms(dtm,0.8)
    inspect(dtm)
    ditm<-dist(dtm,method = 'euclidean')

    hc<-hclust(ditm,"average")  
    plot(hc,xlab = 'xzhou') 
    re<-rect.hclust(hc,k=2,border="red") 

2.K-means聚类
kmeans R中不用提供距离矩阵

    k<-kmeans(dtm,2)
    summary(k)

    mode(k) #kmeansRes的内容 
    names(k)
    k$cluster #聚类结果
    k$size #每个类别下有多少条数据

#sort(kmeansRes$cluster) #对分类情况进行排序
'''
"cluster"是一个整数向量，用于表示记录所属的聚类  
"centers"是一个矩阵，表示每聚类中各个变量的中心点
"totss"表示所生成聚类的总体距离平方和
"withinss"表示各个聚类组内的距离平方和
"tot.withinss"表示聚类组内的距离平方和总量
"betweenss"表示聚类组间的聚类平方和总量
"size"表示每个聚类组中成员的数量
'''

3.k中心聚类

注意这个x可以是数据矩阵或者距离矩阵

    library(cluster)
    pa<-pam(ditm,2)  #分两类
    summary(pa) 

4.knn算法 最近邻算法 做分类

    library('class')  #knn所在包
    library('kernlab')
    install.packages('kernlab')
    data(spam)
    View(spam)

    ##训练集，垃圾邮件和非垃圾邮件
    train <- rbind(spam[1:1360, ], spam[1814:3905, ])
    trainCl <- train[,"type"]   ##分类，就是给加了一个分类的列
    View(train)

    test <- rbind(spam[1361:1813, ], spam[3906:4601, ])
    trueCl <- test[,"type"]

    ##去除原来有分类的列
    knnCl <- knn(train[,-58], test[,-58], trainCl)

    ##table("1-NN" = knnCl, "Reuters" = trueCl)对角线
    (nnTable <- table("1-NN" = knnCl, "Reuters" = trueCl))
    sum(diag(nnTable))/nrow(test)   #查看分类正确率

    #提取对角线或者构造对角线矩阵
    diag

5.支持向量机svm
##type ~ .表示，用type来分类

ksvmTrain <- ksvm(type ~ ., data = train)
    svmCl <- predict(ksvmTrain, test[,-58])
    (svmTable <- table("SVM" = svmCl, "Reuters" = trueCl))
    sum(diag(svmTable))/nrow(test)

5.软件包kernlab中的specc()方法可以实现kernel聚类算法。用这个聚类可能效果不是很理想
例子：

    a=c(3,3,3,5,5,6,6,3,5,3,7,9,5,7)
    data<-matrix(data=a,ncol=2,byrow=FALSE)

    library(kernlab)
    stringkern <-stringdot(type="string")  
    kernelRes <-specc(data,centers=2,kernel=stringkern)  
    mode(kernelRes)