Kai93的博客

基本概念：特征向量，分类，回归，监督学习，非监督学习，半监督学习特征向量(features/feature vector)：属性的集合，通常用一个向量来表示，附属于一个实例。分类 (classification)： 目标标记为类别型数据。回归(regression)：目标标记为连续型数值。监督学习(supervised learning)： 训练集有类别标记。非监督学习(unsupervised l

基本概念 决策树是一个类似于流程图的树结构：其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的最顶层是根结点。决策树是机器学习中分类方法中的一个重要算法 决策树归纳算法 （ID3） 信息获取量(Information Gain)：Gain(A) = Info(D) - Infor_A(D)。也就是通过A来作为节点分类获取了多少信息。 依

定义：KNN算法，即邻近算法，或者说K最近邻分类算法 算法步骤 为了判断未知实例的类别，以所有已知类别的实例作为参照 选择参数K 计算未知实例与所有已知实例的距离 选择最近K个已知实例 根据少数服从多数的投票法则(majority-voting)，让未知实例归类为K个最邻近样本中最多数的类别 关于距离 可以为欧几里得距离（Euclidean distance）, 值（cos）, 相关度