极限学习机应用于入侵检测（二）

训练样本对机器学习算法性能的影响

   机器学习算法的训练过程本质是获得一种分类器或者回归方程，对于分类器，会以不同的形式进行表示，比如朴素贝叶斯算法的概率、神经网络的权重、隐藏层层数、神经元个数、决策树等，而回归方程就是得到输入和输出的线性或者非线性关系，根据输入可以得到输出。ELM的训练过程本质是获得β矩阵，和其它机器学习算法类似，训练过程是获得一种分类器，以矩阵的形式进行存储。对于ELM的训练和测试过程，可以转化成矩阵运算，借助于matlab等工具可以较方便地进行求解。

    不同机器学习算法对于训练集的要求不同，侧重点不同。对于朴素贝叶斯算法，更关注样本的真实性和完整性，因为需要计算各分类的概率和各分类中各特征属性的概率；对于KNN算法，更关注训练样本的均衡性，即各分类样本数量的均衡性，因为需要计算测试样本和训练集所有样本的距离，然后取距离最近的前K个样本，选择K个样本中出现频率最大的类别作为测试样本的类别，如果训练集分布不均匀就会导致误判，因此需要保证训练样本各分类数量分布均匀，如果真的无法得到均衡数据集，那就需要通过赋权值的方式来做判决，比如数量少的类别权重高；对于神经网络，更关注训练样本的多样性和均衡性，神经网络是利用输入的样本特征矩阵和输出标签不断训练隐藏层，要想达到最好的训练效果，需要保证各类别的输入样本尽可能数量多且全面，如果训练集中某些类别的样本数量较少，就会影响对该类别样本特征的学习，进而使得训练出来的神经网络对该类别样本敏感度较低，因此需要尽可能保证各类别的输入样本平衡。举一个可能不太恰当的例子，当我们在面包店看到一款新蛋糕的时候，潜意识会得到它好不好