机器学习
满腹的小不甘
这个作者很懒,什么都没留下…
展开
-
信息熵
1.简介熵的概念最早起源于物理学,用于度量一个热力学系统的无序程度。在信息论里面,熵是对不确定性的测量。熵越高,信息的不确定性越大,预测的难度越大,则能传输越多的信息;熵越低,信息的不确定性越小,即信息很容易预测到,则意味着传输的信息越少。如:文件压缩,压缩掉冗余内容如果压缩是无损的,即通过解压缩可以百分之百地恢复初始的消息内容,那么压缩后的消息携带的信息和未压缩的原始消息是一样的多。而压缩后的消息可以通过较少的比特传递,因此压缩消息的每个比特能携带更多的信息,也就是说压缩信息的熵更原创 2020-07-30 21:45:57 · 4699 阅读 · 0 评论 -
EM算法详解
参考:【1】EM算法详解:实例【2】EM算法原理总结 - 刘建平Pinard - 博客园转载 2020-07-21 15:02:46 · 1594 阅读 · 0 评论 -
距离度量:闵氏、欧式、马氏、余弦、汉明等
目录1. 闵氏距离(Minkowski Distance)2. 欧式距离(Euclidean Distance)3. 标准化欧式距离(Standardized Euclidean distance)4 马氏距离(Mahalanobis Distance)1. 闵氏距离(Minkowski Distance)闵氏距离又叫做闵可夫斯基距离,是欧氏空间中的一种测度,被看做是欧氏距离的一种推广,欧氏距离是闵可夫斯基距离的一种特殊情况。定义式: ...转载 2020-07-09 13:16:31 · 8417 阅读 · 1 评论 -
K-d tree
在计算机科学中,k-d树(k-dimensional的缩写)是一种空间划分数据结构,用于组织k维空间中的点。k-d树是几种应用程序的有用数据结构,例如涉及多维搜索关键字的搜索(例如范围搜索和最近邻居搜索)。k-d树是二进制空间划分树的一种特殊情况。...转载 2020-07-08 22:31:29 · 317 阅读 · 0 评论 -
五种常用的异常值检测方法(均方差、箱形图、DBScan 聚类、孤立森林、Robust Random Cut Forest)
https://blog.csdn.net/u013328485/article/details/95043012转载 2020-01-07 17:58:04 · 2461 阅读 · 0 评论 -
决策树(Decision Tree)和随机森林
1. 决策树1.1 概念 决策树是一种树形结构,为人们提供决策依据,决策树可以用来回答yes和no问题,它通过树形结构将各种情况组合都表示出来,每个分支表示一次选择(选择yes还是no),直到所有选择都进行完毕,最终给出正确答案。决策树是一种贪心算法,它要在给定时间内做出最佳选择,但 并不关心能否达到全局最优 。 决策树(dec...原创 2019-08-12 09:07:01 · 1719 阅读 · 0 评论 -
凸函数,凸优化问题,凸二次规划问题
https://blog.csdn.net/promisejia/article/details/81241201二次规划:https://baike.baidu.com/item/%E4%BA%8C%E6%AC%A1%E8%A7%84%E5%88%92/4269159?fr=aladdin原创 2019-08-08 09:36:35 · 960 阅读 · 0 评论 -
数学基础:高斯分布
1. 最大似然估计(MLE) 概念:给定一堆数据,假如我们知道它是从某一种分布中随机取出来的,可是我们并不知道这个分布具体的参数,即“模型已定,参数未知”。例如,已知分布是正态分布,但是不知道均值和方差;或者已知是二项分布,但是不知道均值。 最大似然估计(MLE,Maximum Likelihood Estimation)就可以用来估计模型的参数。 MLE的目标是找出...原创 2019-08-01 15:55:52 · 2100 阅读 · 0 评论 -
高斯过程回归(GPR)—— 数学推导
补充知识点:1. 高斯分布; 2. 条件概率P的值:P = N(u, E) ??posterior:后验分布GP:连续域上,无限多个高维随机变量(高斯分布)所组成的随机过程。:高维高斯分布GPR可从两个视角观察 权重空间角度和函数空间角度,二者结果一样,但函数空间角度更加简单。1. 权重空间角度 GPR = Bayesian LR + Ker...原创 2019-07-31 22:00:10 · 8398 阅读 · 1 评论 -
特征工程(3):特征选择—信息增益
信息增益,基于信息熵来计算,它表示信息消除不确定性的程度,可以通过信息增益的大小为变量排序进行特征选择。信息量与概率呈单调递减关系,概率越小,信息量越大。1. 基本概念1.1 信息量 信息量的数学定义如下式所示,U表示发送的信息,则表示发送信息U中的一种类型。 1....原创 2019-07-30 15:59:42 · 6209 阅读 · 0 评论 -
特征工程(3):特征选择
在建立模型之前,我们已经按照特征构建的方法得到了数据集,但是这样的数据集可能存在大量的特征,特征之间可能存在相关性,也可能存在冗余特征,因此需对数据集进行降维处理,以得到最优子集,这个过程叫做特征选择。 特征选择的常用方法通常可分为三类:直接法、单变量特征选择、多变量特征选择。 1. 直接法 2. 单元法 2....原创 2019-07-30 15:32:07 · 340 阅读 · 0 评论 -
特征工程(2):特征构建
特征的构建与选取在提高预测精度方面越来越受到重视,甚至影响到预测项目的成败。 通常初始特征是基于领域经验构建的,比如在预测短期负荷的时候,一般会考虑节假日、气温、历史负荷水平等因素来构建特征。然而这样得到的特征未必能够充分地描述目标变量,因此很有必要基于这些初始特征构建更多更强的特征,从而尽可能地提高预测精度。最近几年这方面的研究也不少,百度等科技巨头企业已经有成熟...原创 2019-06-20 16:10:22 · 1351 阅读 · 0 评论 -
特征工程(1):特征提取、特征构建、特征选择的区别
特征对于预测而言是相当重要的,在预测建模之前的大部分工作都是在寻找特征,没有合适特征的预测模型,就几乎等于瞎猜,对预测目标而言没冇任何意义。特征通常是指输入数据中对因变量的影响比较明显的有趣变量或属性。 常见的特征提取、特征构建、特征选择三个概念有着本质不同: (1)特征提取:是指通过函数映射从原始特征中提取新特征的过程,假设有个原始特征(或属性)表...原创 2019-06-20 16:07:49 · 10704 阅读 · 1 评论 -
MIC:最大信息系数
目录1. 概念1.1 MIC1.2 互信息2.MIC的优点3. 算法原理3.1 MIC公式原理3.2MIC计算步骤(1)计算最大互信息值(2)对最大的互信息值进行归一化(3)选择不同尺度下互信息的最大值作为MIC值4. 代码实现6. 其他方法1. 概念1.1 MIC MIC,即(Maximal Information...原创 2019-05-27 15:33:27 · 48496 阅读 · 10 评论