机器学习基本概念
dyhBUPT
这个作者很懒,什么都没留下…
展开
-
马氏距离(Mahalanobis Distance)
马氏距离,是一种距离度量指标,用来评定数据间相似度;类似的距离指标还有欧氏距离、曼哈顿距离、汉明距离等。与欧氏距离不同的是,它有考虑数据间非独立性(例如:一条关于身高的信息会带来一条关于体重的信息,因为两者是有关联的)且尺度无关(scale-invariant)。马氏距离可以理解为针对欧氏距离的两点改进:尺度:欧氏距离中是没有考虑尺度对距离的影响的;比如(身高(mm),体重(t))指标,...原创 2019-12-15 16:55:59 · 1610 阅读 · 0 评论 -
DeepLearning计算代价:FLOPs
机器学习领域论文中,有时会通过"Accuracy-FLOPs"图来比较不同模型在性能和计算力代价方面的权衡,比如最近谷歌的EfficientNet。本文介绍一下FLOPs的含义~刚看到FLOPS,我第一反应是之前看到过的用来衡量硬件计算性能的指标,这里需要做一下区分:FLOPS(floating point operations per second),即每秒浮点数运算次数,所以它是一个衡...原创 2019-12-03 10:17:55 · 1161 阅读 · 0 评论 -
神经网络训练:不变的Loss与提升的Accuracy?
推荐阅读:一种简单的解释原创 2019-11-30 22:48:59 · 2515 阅读 · 0 评论 -
网络inference加速:Fuse Conv&BN
本文参考自ZJC师兄的知乎:链接当前CNN卷积层的基本组成单元标配:Conv + BN +ReLU 三剑客。但其实在网络的推理阶段,可以将BN层的运算融合到Conv层中,减少运算量,加速推理。本质上是修改了卷积核的参数,在不增加Conv层计算量的同时,略去了BN层的计算量。公式推导如下:附一个代码实现:def fuse_conv_and_bn(conv, bn): # http...转载 2019-11-29 10:58:39 · 3124 阅读 · 1 评论 -
批标准化(BatchNorm)
注:本文部分参考自以下文章:深入理解Batch Normalization批标准化李理:卷及神经网络之Batch Normalization的原理及实现原文链接:《Batch Normalizaion: Accelerating Deep Network Training by Reducing Internal Convariate Shift》翻译、导读等推荐:1、21. BN目的...原创 2019-11-25 17:28:53 · 590 阅读 · 0 评论 -
无监督预训练 & 有监督预训练
本文参考了几篇其他博客,具体链接在对应部分有提供无监督预训练(unsupervised pre-training)无监督预训练策略,主要应用于“复杂任务+少量标记数据集”,即没有足够的训练集为我们提供模型训练支持。这是 Hinton 团队在2006年提出的技术:A Fast Learning Algorithm for Deep Belief Nets。这里有一段对其原理的描述In SG...原创 2019-11-25 11:56:49 · 6064 阅读 · 0 评论 -
非极大值抑制(Non-Maximum Suppression)
声明:本文章直接转载于SnailTyan的博客的部分内容,链接为原地址原文中还有源码、实验结果、参考链接等转载 2019-11-20 15:08:57 · 119 阅读 · 0 评论 -
专业词汇记录
机器学习论文中有时会出现ground truth,初见会觉得一头雾水。下面的介绍取自知乎:知乎相关问题说白了,ground truth就是数据的(正确)标注解释原创 2019-11-18 12:48:18 · 545 阅读 · 2 评论