坚持是一种品质

《统计学习方法》第十四章–聚类方法聚类方法主要是依据某种相似度判别标准，将给定的未标注的数据集依据相似度自动的将其划分为若干个类或簇中。聚类方法的目的是通过算法的聚类，对未标注数据集进行一定程度的划分，以便于发现潜在的关系，但是聚类方法的效果严重依赖于所选的相似度判别标准。相似度判别标准相似度的判别主要是通过一定的标准来说明所给的实例之间的相似程度，常见的有基于距离的标准，基于相关系数的标准...

《统计学习方法》第八章–提升方法提升方法的核心思想是在给定基础模型的基础上，通过不断调整样本的权重分布训练一系列的模型，尽最大可能的减少训练误差,最后将多个模型按照一定的权重系数进行组合得到最终的模型。通过采用多模型结合的方式，可以提升模型的稳定性，使模型更准确。理论基础PAC理论(Probably Approximately Correct)PAC理论（概率近似正确理论）主要是论证了在概...

《统计学习方法》第七章–支持向量机支持向量机概述支持向量机是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机由简至繁依次可分为：线性可分支持向量机，线性支持向量机，非线性支持向量机。当数据线性可分时，通过硬间隔最大化的约束来学习一个分类器，称为线性可分支持向量机；当数据近似线性可分时，通过软间隔最大化的约束来学习一个分类器，称为线性支持向量机；当数据线性不可分...

《统计学习方法》第六章–最大熵模型最大熵模型概述最大熵模型是将最大熵原理应用于分类任务中得到的模型。认为在全部可能的模型中，熵最大的模型是最好的模型。最大熵原理最大熵原理认为，学习概率模型时，在所有可能的概率模型分布中，熵最大的模型就是最好的模型。由于通常用约束条件来确定概率模型的集合，因此最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。熵，最大熵原理都最初演变自热力学领...

《统计学习方法》第六章–逻辑斯谛回归模型逻辑斯谛回归概述逻辑斯谛回归的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数。而最佳拟合参数就是在训练分类器时，通过最优化算法获得。逻辑斯谛分布设XXX是连续随机变量，XXX服从逻辑斯谛分布是指XXX具有以下分布函数和概率密度函数：F(x)=P(X≤x)=11+e−(x−μ)/...

《统计学习方法》第五章–决策树决策树概述决策树模型呈树形结构，在分类过程中表示基于特征对实例进行分类的过程。决策树模型可以视为if-then规则的集合，也可以视为是定义在特征空间与类别空间上的条件改了分布。主要优点是模型具有很好的可解释性，分类速度快，缺点是构建决策树时用的特征序列对分类效果有较大的影响。决策树学习过程通常包括三个步骤：特征选择，决策树的生成，决策树的修剪决策树模型分类决策...

《统计学习方法》第四章–朴素贝叶斯朴素贝叶斯概述朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。通过给定的训练数据集，首先基于特征条件独立的假设学习输入输出的联合概率分布，然后基于此模型，对于给定的xxx，利用贝叶斯定理求出后验概率最大的输出yyy朴素贝叶斯法输入：训练数据T={(x1,y1),(x2,y2)...(xN,yN)};T=\{(x_1,y_1),(x_2,y_2)...

《统计学习方法》第三章–K近邻K近邻概述K近邻算法是一种基本分类与回归模型，该算法假定给定一个实例已经标定的训练数据集，在分类或回归时对新的实例，根据其K个最近邻的训练实例的类别，通过多数表决的方式进行预测，属于判别模型。K值得选择，距离度量，分类决策规则是K近邻算法的三个基本要素。K近邻算法输入：训练数据集T={(x1,y1),(x2,y2)...(xN,yN)};T=\{(x_1,y...

《统计学习方法》第二章–感知机感知机概述感知机是二类分类的线性模型，输入为实例的特征向量，输出为实例的类别，取+1和-1两个值。感知机本质对应于输入空间的一个超平面，通过将正负两类通过一个超平面划分开来，属于判别式模型。感知机模型假设输入空间（特征空间）是 $ \chi \subseteqq R^n $ 输出空间是 $ y={+1,-1} $。输入 $ x \in \chi$ 表示实例的...

《统计学习方法》第一章–概述统计学习概述统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的学科。目的是使得计算机系统通过运用数据及统计学习方法提高系统性能。统计学习方法可以概述如下：从给定的，有限的用于训练的数据集合出发，假设数据是独立同分布产生的；并且假设要学习的模型属于某个函数的集合，称为假设空间；应用某个评价准则，从假设模型中选取一个最优模型，使它对已知的...