快速排序简介代码示例排序过程时间复杂度最差时间复杂度最优时间复杂度 && 平均时间复杂度空间复杂度稳定性简介        k均值聚类算法（k-means clustering algorithm）是一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表

交叉熵:交叉熵：主要用于度量两个概率分布间的差异性，交叉熵是表示两个概率分布p、q，其中p表示真实概率，q表示非真实概率。公式:H(p,q)=∑ipilog(1qi)H(p,q)=\sum_{i} p_ilog(\frac{1}{q_i})例:一支小组4个球队(a、b、c、d)，出现的概率分别为pip_i=(12\frac{1}{2},14\frac{1}{4},18\frac{1}{8},18\f

信息熵:信息熵：又被称为香农熵，因为是香农将人力学的熵引入到信息论。公式:H(X)=−∑i=1np(xi)log2p(xi)H(X)=−∑i=1np(xi)log2p(xi)H(X)=-\sum_{i=1}^n p(x_i)log_2p(x_i) 注:因为概率为小数，所以负号的目的是将log运算的结果变为正数。 或者 H(X)=∑i=1np(xi)log2p(1xi)H(X)=∑...

相对熵:相对熵：又称KL散度(Kullback–Leibler divergence)，是描述俩个概率分布P和Q差异的一种方法。公式:DKL(P||Q)=−∑iP(i)logQ(i)P(i)DKL(P||Q)=−∑iP(i)logQ(i)P(i)D_{KL}(P||Q)=-\sum_iP(i)log\frac{Q(i)}{P(i)} DKL(P||Q)=∑iP(i)logP(i)...