山高路远坑很深的博客

K-means算法简要思想:算法接受参数 k ；然后将事先输入的n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。（1）适当选择k个类的初始中心；（2）在第k次迭代中，对任意一个样本，求其到各中心的距离，将该样本归到距离最短的中心所在的类；（3）利用均值等方法更新类的中心值；（4）对于所有的c个聚类中心，如果利用（2）（3）的迭代

本实验依托于教材《模式分类》第二版第六章（公式符号与书中一致）实验内容：设计编写BP神经网络和RBF神经网络，对给定数据集进行分类测试，并将分类准确率与SVM进行对比。实验环境：matlab2016a数据集：数据集大小3*3000，表示3000个样本，每个样本包含2个特征，第三行表示样本所属的分类。对于此次实验编写的BP神经网络和RBF神经网络，均将原始数据集分为训练集和测试集两部分，训练集含270

在上一篇博文中：Matlab实现BP神经网络和RBF神经网络（一） 中，我们讨论了BP网络设计部分，下面我们将设计RBF网络并将它们结果与SVM对比。数据格式不变，详情请看上一篇博文。RBF神经网络：RBF网络和BP网络都是非线性多层前向网络，它们都是通用逼近器。对于任一个BP神经网络，总存在一个RBF神经网络可以代替它，反之亦然。但是这两个网络也存在着很多不同点，他们在网络结构、训练算法、网络资源

在matlab中，既有各种分类器的训练函数，比如“fitcsvm”，也有图形界面的分类学习工具箱，里面包含SVM、决策树、Knn等各类分类器，使用非常方便。接下来讲讲如何使用。启动：点击“应用程序”，在面板中找到“Classification Learner”图标点击即启动，也可以在命令行输入“classificationlearner”，回车，也可启动。如下图：导入数据：点击“New Sessio

利用feedforwardnet函数建立BP神经网络，十分简单：clear;load input_white.mat;load output_white.mat;input=input_white'; %转置为F*N矩阵，F为特征的个数，N为样本的个数output=output_white';%[norminput,norminputps]=mapminmax(input); %归一

机器学习实验五，详情请参考《模式分类》第二版第五章课后上机练习5.4节实验环境：Matlab 2016a基本梯度下降法和牛顿法：我们在寻找能将两类类别分开的权向量时采用的方法是：定义一个准则函数J（a），当a是解向量时，J（a）最小。这样就将问题简化为一个标量函数的极小化问题——通常可以用梯度下降法来解决。梯度下降法的原理非常简单，首先从一个任意选择的权向量a（1）开始，计算其梯度向量，下一个值a（

机器学习实验四，详情请参考《模式分类》第二版第四章课后上机练习4.3、4.4节实验环境：Matlab2016aParzen窗估计方法：已知测试样本数据x1,x2,…,xn，在不利用有关数据分布的先验知识，对数据分布不附加任何假定的前提下，假设R是以x为中心的超立方体，h为这个超立方体的边长，对于二维情况，方形中有面积V=h^2，在三维情况中立方体体积V=h^3。 根据以下公式，表示x是否落入超立方

机器学习实验三，详情请参考《模式分类》第二版第三章课后上机练习3.2节实验环境：Matlab2016a实验内容：给定以下w1和w2的三维数据，考虑不同维数下的高斯概率密度模型：（a）编写程序，对表格中的类w1中的3个特征，分别求解最大似然估计。 （b）修改程序，处理二维数据的情形。然后处理对表格中的类w1中的任意两个特征的组合（3种可能）。 （c）修改程序，处理三维数据的情形。然后处理表格中类w

详情请参阅《模式分类》第二版第二章上机练习2.5节第2题数据说明：有w1，w2，w3三组样本数据如下（符合正态分布）： （1）假设P(w1)=P（w2）=0.5，P（w3）=0，仅利用x1特征值为这两类判别设计一个分类器，并确定样本的经验训练误差，即误分点的百分比。 （2）假设P(w1)=P（w2）=0.5，P（w3）=0，利用x1，x2两个特征值为这两类判别设计一个分类器，并确定样本的经验训练

实验环境：Matlab2016a实验内容：实现Bagging算法，训练多个分量分类器，比较分量分类器和最后的总分类器的分类准确率。Bagging算法：从大小为n的原始数据集中，分别独立随机地选取n’个样本组成自助数据集，并且将这个过程独立进行许多次，直到产生很多个独立的自助数据集。然后，每个自助数据集都被独立地用于训练一个“分量分类器”，最终分类器的判决将根据这些“分量