2301_76760662的博客

原创 决策树学习

决策树的学习关键是如何选择最优划分属性，一般而言，随着划分过程不断进行，我们希望决策树的分支点所包含的样本尽可能属于同一类别，即结点的“纯度”越来越高。

原创 贝叶斯分类器学习

令Dc表示训练集D中第c类样本组成的集合，假设这些样本是独立同分布的，则参数θc(θc是确定条件概率P(x|c)的唯一参数向量)对数据集Dc的似然为。如，西瓜问题，待查询变量为Q={好瓜,甜度}，证据变量E={色泽,敲声,根蒂}且已知其取值为e={青绿,浊响,蜷缩}，查询目标值是q={是,高}，即这是好瓜且甜度高的概率有多大。反之，若Z的值已知，则可方便地对参数Θ做极大似然估计(M步)贝叶斯网中，给定父结点集，假设每个属性与它的非后裔属性独立，也就是说不存在依赖关系的属性相互独立，于是属性x1，x2，

原创 支持向量机学习

原创 线性模型学习

给定由d个属性描述的示例，其中是在第i个属性上的取值，线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即许多功能更为强大的非线性模型（nonlinear model）可在线性模型的基础上通过引入层级结构或高维映射而得。此外，由于w直观表达了各属性在预测中的重要性，因此线性模型有很好的可解释性（comprehensibility）。

原创 聚类分析学习

聚类是一种无监督的机器学习任务。与监督学习不同，聚类算法仅依赖输入数据，并致力于在特征空间中找到自然的组或群集。这些群集通常是特征空间中的密度区域，其中同一群集的数据点比其他群集更紧密地聚集在一起。聚类分析是根据在数据中发现的描述对象及其关系的信息，将数据对象分组。目的是，组内的对象相互之间是相似的（相关的），而不同组中的对象是不同的（不相关的）。组内相似性越大，组间差距越大，说明聚类效果越好。

原创 模型评估与选择

错误率（error rate）：分类错误的样本数占样本总数的比例精度（accuracy）=1-错误率误差（error）：学习器的实际预测输出与样本的真实输出之间的差异经验误差（empirical error）：学习器在训练集上的误差泛化误差（generalization error）：在新样本上的误差为了得到在新样本上也能表现好的学习器，应该从训练样本中尽可能找出适合所有潜在样本的普遍规律。这时就会存在过拟合或者欠拟合的现象。