keeper42的博客

文章目录支持向量机SVM线性可分支持向量机分割超平面问题推导目标函数建立目标函数涉及的数学知识对偶问题拉格朗日对偶函数鞍点强对偶条件强对偶KTT条件拉格朗日函数计算拉格朗日的对偶函数整理目标函数线性支持向量机线性支持向量机SVM的目标函数带松弛因子的SVM拉格朗日函数带入目标函数最终目标函数损失函数分析非线性支持向量机核函数核函数映射LR与SVM的异同 支持向量机SVM 训练数据线性可分 -> 硬间隔支持向量机 训练数据近似线性可分 -> 软间隔支持向量机 训练数据线性不可分 -> 非线性

文章目录聚类聚类的基本思想相似度/距离计算方法总结K-Means算法K-Means算法二分K-Means算法层次聚类方法密度聚类方法DBSCAN密度最大值算法谱和谱聚类 聚类 聚类的基本思想 聚类是一种无监督学习，是对大量未知标注的数据集，按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的数据相似度较小。 给定一个有N个对象的数据集，划分聚类技术将构造数据的 k 个划分，每一个划分代表一个簇，k≤n。也就是说，聚类将数据划分为k个簇，而且这k个划分满足下列条件： 每一个簇至少包含一

文章目录贝叶斯相对熵互信息贝叶斯公式朴素贝叶斯贝叶斯网络一个简单的贝叶斯网络全连接贝叶斯网络一个正常的贝叶斯网络贝叶斯网络的形式化定义特殊贝叶斯网络——马尔科夫模型条件独立的三种类型通过贝叶斯网络判定独立条件1通过贝叶斯网络判定独立条件2通过贝叶斯网络判定独立条件3D-separationHMMMarkov Blanket贝叶斯网络的应用贝叶斯网络的构建 贝叶斯 相对熵 相对熵，又称互熵，交叉熵，鉴别信息，Kullback熵，KL散度等。相对熵可以度量两个随机变量的“距离”。 设p(x)、q(x)是X中取值

决策树与随机森林

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义： 这一

文章目录回归分析一、线性回归1. 定义2. 损失函数3. 梯度下降4. 过拟合与正则化二、逻辑回归1. 定义2. 损失函数3. 梯度下降与正则化三、工程应用经验1. 关于样本的处理2. 关于特征的处理3. 关于算法调优 回归分析 一、线性回归 1. 定义 回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。 单变量情形：y=ax+b，b为误差服从均值为0