luoxuexiong的博客

熵与信息增益在决策树算法中，决定特征优先级时，需要用到熵的概念，先挖个坑1 信息量信息量是用来衡量一个事件的不确定性的；一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。假设X是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈X，我们定义事件X=x0的信息量为：I(x0)=−log(p(x0))当p(x0)=1时，熵将等...

本文转载于简书，地址链接为：https://www.jianshu.com/p/7b7c0777f74d如有冒犯，还望谅解！直观解读KL散度的数学概念关键点摘要KL 散度是一种衡量两个概率分布的匹配程度的指标，两个分布差异越大，KL散度越大。定义如下：其中 p(x) 是目标分布，q(x)是去匹配的分布，如果两个分布完全匹配，那么KL 散度又叫相对熵，...

本文来自于转载，如有冒犯，还望理解！论文代码链接：https://github.com/hujie-frank/SENethttps://github.com/binLearning/caffe_toolkit下面我将介绍我们提出的 SENet，论文和代码会在近期公布在 arXiv 上，欢迎大家 follow 我们的工作，并给出宝贵的建议和意见。我们从最基本的卷积操作开始说起...

本文转载于以下博客地址：https://blog.csdn.net/jningwei/article/details/80641184如有冒犯，还望谅解！Introduction度量学习 (Metric Learning) == 距离度量学习 (Distance Metric Learning，DML) == 相似度学习 是人脸识别中常用传统机器学习方法，由Eric Xi...

本文源于转载，如有冒犯还望见谅，多谢！聚类算法总结原文:http://blog.chinaunix.net/uid-10289334-id-3758310.html聚类算法的种类：基于划分聚类算法（partition clustering)k-means： 是一种典型的划分聚类算法，它用一个聚类的中心来代表一个簇，即在迭代过程中选择的聚点不一定是聚类中的一个点，该算...

在统计学习中，转导推理（Transductive Inference）是一种通过观察特定的训练样本，进而预测特定的测试样本的方法。另一方面，归纳推理（Induction Inference）先从训练样本中学习得到通过的规则，再利用规则判断测试样本。然而有些转导推理的预测无法由归纳推理获得，这是因为转导推理在不同的测试集上会产生相互不一致的预测。 归纳推理中的一个经典方...

PageRank算法介绍1.算法概述        PageRank，即网页排名，又称网页级别、Google左側排名或佩奇排名。是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法，自从Google在商业上获得空前的成功后，该算法也成为其他搜索引擎和学术界十分关注的计算模型。 PageRank是Google用于用来标识网页的等级/重要性的一种方...

K-means算法（非监督性学习）1.算法思想        k-means算法是一种简单的迭代型聚类算法，采用距离作为相似性指标，从而发现给定数据集中的K个类，且每个类的中心是根据类中所有值的均值得到，每个类用聚类中心来描述。对于给定的一个包含n个d维数据点的数据集X以及要分得的类别K,选取欧式距离作为相似度指标，聚类目标是使得各类的聚类平方和最小，即最小化：            ...

KNN算法（监督性学习）1.算法思想       KNN是通过测量不同特征值之间的距离进行分类。它的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。2.算...

一. 概述       如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。二.算法描述1.距离计算公式      在KNN中，通过计算对象间距离来作为各个对象之...