机器学习周志华笔记

1，监督学习：分类、回归

      无监督学习：聚类

2，决策树：根据信息增益的大小来确定节点

     信息熵：描述事务确定性程度的值（需要多少个bit来描述信息），Ent(D) = -Σpklog2pk

     信息增益：信息熵-某个属性划分的平均信息熵（该属性划分纯度）

3，支持向量机中对超平面的理解：

    划分超平面用以下线性方程表示：WTX+b=0;  W为法向量，b决定了该平面到原点的距离，但平面到原点的具体值：b/||W||;

    WTX表示：||W||*X在法向量上的投影长度，所以r=|WTX+b|/||W|| 表示 当前点到平面的距离（X在法向量上的投影-平面到原点的距离），cos值相当于确定了方向

4，梯度（模最大的方向导数，有方向，向量）：从小值指向大值，值为该方向上的导数值