机器学习
文章平均质量分 95
xhj_enen
这个作者很懒,什么都没留下…
展开
-
熵、条件熵、联合熵、互信息的理解
熵在信息论中,熵(entropy)是表示随机变量不确定性的度量,如果一个事件是必然发生的,那么他的不确定度为0,不包含信息。假设XXX是一个取有限个值的离散随机变量,其概率分布为:P(X=xi)=piP(X=x_i)=p_iP(X=xi)=pi则随机变量XXX的熵定义为:H(X)=−∑i=1npilog(pi)H(X)=-\sum_{i=1}^np_ilog(p_i)H(X)=−i=1...原创 2019-02-20 20:27:02 · 5699 阅读 · 0 评论 -
交叉熵(cross entropy)与相对熵(relative entropy,KL divergence)的理解
交叉熵(cross entropy)交叉熵在机器学习中的地位十分重要,常在Logistic回归或者神经网络中作为Loss Function来使用,下面先详细谈一谈交叉熵的定义。假设现在有关于样本集的两个概率分布p(x)p(x)p(x)和q(x)q(x)q(x),其中p(x)p(x)p(x)为真实分布,q(x)q(x)q(x)为非真实的分布(可以理解为我们通过该样本集训练得到的分布)。如果我们用...原创 2019-02-21 12:11:12 · 1031 阅读 · 0 评论 -
Optimizer(BGD,SGD,MBGD,Momentum,NAG,Adagrad,Adadelta,RMSprop,Adam)详解
一、optimizer 算法介绍1、Batch Gradient Descent(BGD)BGD采用整个训练集的数据来计算 cost function 来进行参数更新。θ=θ−α⋅∇θJ(θ)\theta = \theta - \alpha \cdot \nabla_{\theta}J(\theta)θ=θ−α⋅∇θJ(θ)for i in range(iteration): ...原创 2019-02-27 12:14:50 · 413 阅读 · 0 评论 -
限制性玻尔兹曼机(Restricted Bottzmann Machine,RBM)
背景介绍一、玻尔兹曼机玻尔兹曼机简单地说就是一个马尔科夫随机场(Markov Random Field),即一个无向图模型。但是玻尔兹曼机比无向图模型还是多了一些东西,就是玻尔兹曼机将其中的节点分为两类,一类是 hidden nodes,另一类是 visible nodes。如上图所示,就是一个玻尔兹曼机,其中蓝色的是 hidden nodes,白色的是 visible nodes。对于...原创 2019-03-13 22:18:43 · 721 阅读 · 0 评论 -
(推荐引擎)实现基础工程
推荐引擎模块接收请求处理请求返回结果原创 2019-03-20 22:06:34 · 259 阅读 · 0 评论 -
机器学习性能度量指标(precision、recall、PR曲线、F1、ROC、AUC、IOU、mAP)
1、precision、recall、PR curve、F1在信息检索等任务中,我们经常会关心“检索出的信息中有多少比例是用户感兴趣的”以及“用户感兴趣的信息中有多少被检索出来了”。precision(查准率)与recall(查全率)就是此类需求的性能度量指标。对于一个二分类问题,我们可以根据模型的分类结果将其分为四类:TP、FP、TN、FN则查准率与查全率的定义分别为:precisio...原创 2019-03-18 15:29:43 · 11981 阅读 · 2 评论 -
牛顿法(Newton)的应用
1、求解方程并不是所有的方程都有求根公式,或者求根公式很复杂,导致求解困难。利用牛顿法,可以迭代求解。原理是利用泰勒公式,在 x0x_0x0 处展开,且展开到一阶,即:f(x)=f(x0)+(x−x0)f′(x0)f(x) = f(x_0) + (x - x_0)f'(x_0)f(x)=f(x0)+(x−x0)f′(x0)求解方程 f(x)=0f(x) = 0f(x...原创 2019-04-08 15:22:19 · 2466 阅读 · 0 评论 -
(深度学习)Batch Normalization 批标准化
本文转自:【深度学习】深入理解Batch Normalization批标准化机器学习领域有个很重要的假设:independent and identically distributed(IID)独立同分布假设,就是假设训练数据和测试数据是满足相同分布的,这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。而 Batch Nornalization 的作用就是在深度神经网络训练过程中...原创 2019-04-08 22:35:14 · 313 阅读 · 0 评论