BIT_mk的博客

支持向量机学习。

主要介绍了神经网络的相关知识。

比如说，如果我们用一个人的身份证号来预测他的身高，虽然按照身份证号进行划分可以得到完全纯净的子集（每个人的身份证号都不同，所以每个子集中只有一个样本），信息增益也很大，但显然这样的模型没有任何泛化能力，对新的未知样本的预测能力也非常差。相反，如果一个节点的样本均匀地分布在各个类别中，那么这个节点的Gini系数就是最大的（对于二分类问题，最大的Gini系数是0.5）。比如，假设你在建立一个预测是否喜欢阅读的决策树，有两个人，他们的属性（年龄，性别，职业等）都完全相同，但一个人喜欢阅读，另一个人不喜欢。

其中，x是输入的实数，exp表示自然指数函数（e的x次幂），S(x)是Sigmod函数的输出。Sigmod函数的特点是在x接近0时，输出值接近0.5，而在x趋向正无穷大时，输出值接近1，而在x趋向负无穷大时，输出值接近0。厄米矩阵（Hermitian Matrix），也称为自伴随矩阵（Self-adjoint Matrix），是一种特殊的方阵（即行数等于列数的矩阵）。牛顿法每次迭代时需要求解海森矩阵的逆矩阵，该步骤的计算量很大，所以将求解海森矩阵的逆矩阵改成求解计算量更低的近似逆矩阵，称为拟牛顿法。

在研究对比不同算法的泛化性能时，我们用测试 集上的判别效果来估计模型在实际使用时的泛化能力，而把训练数据另外划分为训练集和验证集，基于验证集上的性能来进行模型选择和调参.在数据量较少时，适合自助法，而在数据量足够时，留出法和交叉验证法更常用一些。研究如何通过计算的手段，利用经验来改善系统自身的性能。为步长，则实际要评估的候选参数值有 5个，最终是从这5。——数据集的划分尽可能保持数据分布的一致性。反映事件或对象在某方面的表现或性质的事项。分类错误的样本数占样本总数的比例。为因样本划分不同 引入的差别，k。