机器学习
文章平均质量分 99
老光头_ME2CS
机械转计算机视觉的光头老僧
展开
-
t-SNE 多类数据降维的小技巧
在用t-SNE聚类算法时,发现一个小问题,值得注意。问题在对有标签的数据进行分类时,网上一些参考案例的算法如下,即每一类标签先经过t-SNE算法降维,最后再统一画到一个散点图上。ts = TSNE(n_components=2, init = 'pca', random_state = 0)features2 = np.zeros((sample_num*4, feature_len))for ii, dataset in enumerate (datasets): frame_li原创 2020-09-01 11:28:25 · 2247 阅读 · 8 评论 -
Tensorflow2.* 熵 相对熵(KL散度)(交叉熵) 互信息 (信息增益)代码实现
基本的理论请参考博文随机定义两组向量表示真实分类标签和预测输出目录标题一维随机变量熵相对熵(relative entropy)或(Kullback-Leibler)KL散度交叉熵(cross entropy)三者关系二维随机变量熵相对熵(relative entropy)或(Kullback-Leibler)KL散度交叉熵(cross entropy)三维随机变量熵相对熵(relative entropy)或(Kullback-Leibler)KL散度交叉熵(cross entropy)一维随机变量原创 2020-06-03 23:54:13 · 1445 阅读 · 0 评论 -
信息论中熵 联合熵 条件熵 相对熵(KL散度)(交叉熵) 互信息 (信息增益)的定义 及关联
熵(Entropy)的理论知识定义在信息论中,熵被定义为随机变量的平均不确定度的度量。也是平均意义上描述随机变量所需的信息量的度量。设XXX是一个离散型随机变量,其字母表(即概率论中的取值空间)为χ\chiχ。概率密度函数p(x)=Pr(X=x),x∈χp(x)=Pr(X=x), x\in\chip(x)=Pr(X=x),x∈χ, 则一个离散随机变量XXX的熵H(X)H(X)H(X)定义为H(X)=−∑p(x)log2p(x)H(X)=-\sum p(x)\log_{2} p(x) H(X)原创 2020-06-03 10:50:53 · 4074 阅读 · 2 评论