分类和聚类：算法理论和代码实现（填坑中……）

 

1. 分类和聚类的关系

 分类：把一个东西分到一个明确的类中。是细分。（监督学习）细分

 聚类：把一些东西分到具有一定相似度点组中。物以类聚，是汇总（无监督学习）

2.分类和聚类常见算法

分类算法：

     1）决策树分类法
     2）朴素贝叶斯分类法
     3）基于支持向量机（SVM）的分类器
     4）神经网络发
     5）K-最近邻法
     6）模糊分类法

聚类算法： 
     1）K均值聚类
     2）K中心点算法
     3）Clarans算法
     4）层次算法： 
                  Birch算法
                  Cure算法
                  Chameleon算法
     5）基于密度的算法： 
                  Dbscan算法
                  Optics算法
                  Denclue算法
     6）基于网格的方法 
                 Sting算法
                  Clique算法
                  Wave-Cluster算法

3. 分类算法理论和代码实现

 3.1 决策树

以下为草稿，未整理好……

          if的合集

          划分好坏：划分条件的选择。

          划分条件的好坏的标准：信息增益(ID3)、增益率(c4.5)、基尼指数(CART)

例子：

data=
[
(专一, 上进, 好男人),
(不专一, 上进,坏男人),
(专一, 不上进, 好男人),
(不专一, 不上进, 坏男人)
]

熵：

假如一个随机变量X的取值为X={x1,x2,...,xn}，每一种取到的概率分别为{p1,p2,...,pn}，那么X的熵定义为

如果一个分类系统中，类别的标识是cc，取值情况是c1,c2,⋯,cnc1,c2,⋯,cn，n为类别的总数。那么此分类系统的熵为： 

 

如果是个二分类系统，那么此系统的熵为： 

其中p(c0)p(c0)、p(c1)p(c1)分别为正负样本出现的概率。

条件熵：

1.当特征x被固定为值xixi时，条件熵为: H(c|x=xi)H(c|x=xi) 
2.当特征X的整体分布情况被固定时，条件熵为:H(c|X)

信息增益(IG)为：

 

上面的例子：

  系统熵：

           一共两个结论：好男人=2， 坏男人=2

H(c)= -2/4log2(2/4)-2/4log2(2/4)=1

专一和不专一的信息熵：

专一=2， 好男人=2，坏男人=0 ；H(专一)=-2/2log2(2/2)-0/2log2(0/2)=0

不专一=2， 好男人=0，坏男人=2；H(不专一)=-0/2log2(0/2)-2/2log2(2/2)=0

上进和不上进的信息熵：

上进=2， 好男人=1，坏男人=1 ；H(上进)=-1/2log2(1/2)-1/2log2(1/2)=1

不上进=2， 好男人=1，坏男人=1；H(不上进)=-1/2log2(1/2)-1/1log2(1/2)=1

 

信息增益

专一 = 不专一 = 1-0=1

上进 = 不上进 = 1-1=-0