lzzdflg的博客

马氏距离是由印度统计学家马哈拉诺比斯（P. C. Mahalanobis）提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的（scale-invariant），即独立于测量尺度。 对于一个均值为，协方差矩阵为Σ的多变量矢量，其马氏距离为马氏距

首先声明感知机的对偶形式与原始形式并没有多大的区别，运算的过程都是一样的，但通过对偶形式会事先计算好一些步骤的结果并存储到Gray矩阵中，因此可以加快一些运算速度，数据越多节省的计算次数就越多，因此比原始形式更加的优化。 首先我们介绍一下感知机的原始形式，之后与其对比。感知机感知机是二类分类的线性分类模型，输入为实例的特征向量，输出为实例的类别，分别去+1和-1两值。感知机对应与输入空间中将实例划

CART与ID3和C4.5相同都由特征选择，树的生成，剪枝组成。但ID3和C4.5用于分类，CART可用于分类与回归。CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布，与ID3和C4.5的决策树所不同的是，ID3和C4.5生成的决策树可以是多叉的，每个节点下的叉树由该节点特征的取值种类而定，比如特征年龄分为（青年，中年，老年），那么改节点下可分为3叉。而CART为假设决策树为二叉树，

似然函数似然函数是给定联合样本值x下关于未知参数θ的函数： 等式右边表明在给定θ时，x出现的可能性大小。 类似于当x∈X时 如果X时离散的随机变量 ，即代表了在参数θ下随机向量X取到x的可能性，也可以称为概率质量函数。 当X为连续随机变量时，那么f(x|θ)为给定θ下x的概率密度函数。等式左边表明在给定样本x时，对于不同的θ，那个θ可以使x出现的可能性最大。 （这里的参数θ可以参照后面极

在大多数使用sigmoid作为激活函数时，神经网络中通过使用交叉熵损失函数cross-entropy可使网络参数能够快速的从错误中学习问题，使梯度下降中权值w以及偏秩b的下降速率得以提升，即可较为快速的得出网络结果。在下方图示中，我们给出神经网络中对于使用sigmoid作为激活函数，在使用二次代价函数(quadraticcost)时产生的一种下降速率缓慢的数据图像。对于上图两神经网络...