ML/DL/CV 基础知识
bl128ve900
这个作者很懒,什么都没留下…
展开
-
laplace 图像融合算法 学习记录
参考:python版本:https://blog.csdn.net/FireMicrocosm/article/details/48489939c++版本:https://www.cnblogs.com/riddick/p/8922381.html原理:https://www.jianshu.com/p/3185cca3f082 (这篇原理很清晰)算...原创 2019-12-24 16:29:37 · 418 阅读 · 0 评论 -
偏导数、微分、以及导数到底有什么关系和区别?
偏导数、微分、以及导数到底有什么关系和区别? https://www.zhihu.com/question/265021971转载 2019-07-10 00:30:20 · 5703 阅读 · 0 评论 -
Batch Norm (针对面试问题总结)
参考:基础 | batchnorm原理及代码详解https://blog.csdn.net/qq_25737169/article/details/79048516详解机器学习中的梯度消失、爆炸原因及其解决方法https://blog.csdn.net/qq_25737169/article/details/78847691Pytorch Batch Normalizatin la...原创 2019-07-10 14:20:06 · 4175 阅读 · 0 评论 -
全连接层的作用
参考全连接层的作用是什么?https://www.zhihu.com/question/41037974(1)全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。(2)将学到的“分布式特征表示”映射到样本标记空间的作用。(3)FC可一定程度保留模型复杂度(4)卷积神经网络中全连接层的设计,属于人们在传统特征提取+分类思维下的...原创 2019-07-10 11:20:05 · 25562 阅读 · 1 评论 -
目标检测一条线
参考:RCNN- 将CNN引入目标检测的开山之作https://zhuanlan.zhihu.com/p/23006190RCNN-> SPP net -> Fast RCNN -> Faster RCNNhttps://zhuanlan.zhihu.com/p/25600546一文读懂Faster RCNNhttps://zhuanlan.zhihu.com/...转载 2019-07-10 16:33:53 · 504 阅读 · 0 评论 -
深度学习 优化器(GD和SGD)
参考:为什么说随机最速下降法 (SGD) 是一个很好的方法?https://www.leiphone.com/news/201709/c7nM342MTsWgau9f.html1. GD这里就是第 t 步的位置,就是导数,是步长。所以这个算法非常简单,就是反复做这个一行的迭代。缺点:(1)在使用的时候, 尤其是机器学习的应用中,我们都会面临非常大的数据集...转载 2019-06-30 14:56:49 · 19176 阅读 · 4 评论 -
SGD和Adam
按吴恩达老师所说的,梯度下降(Gradient Descent)就好比一个人想从高山上奔跑到山谷最低点,用最快的方式(steepest)奔向最低的位置(minimum)。SGD基本公式动量(Momentum)参考链接:https://distill.pub/2017/momentum/基本的mini-batch SGD优化算法在深度学习取得很多不错的成...转载 2019-07-10 19:07:39 · 9191 阅读 · 0 评论 -
常见的损失函数
参考:常用损失函数小结https://blog.csdn.net/zhangjunp3/article/details/80467350本文主要总结一下常见的损失函数,包括:MSE均方误差损失函数、Cross Entropy交叉熵损失函数、目标检测中常用的Smooth L1损失函数。其中还会涉及到梯度消失、梯度爆炸等问题:ESM均方误差+Sigmoid激活函数会导致学习缓慢;Smooth...转载 2019-07-10 21:36:55 · 1121 阅读 · 0 评论 -
目标检测中的 mAP
理解目标检测当中的mAPhttps://blog.csdn.net/hsqyc/article/details/817024371.IOU的概念IOU的概念应该比较简单,就是衡量监测框和标签框的重合程度。一张图就能解释,做目标检测小伙伴应该都清楚,我这里不赘述。2.TP TN FP FN的概念T或者N代表的是该样本是否被分类分对,P或者N代表的是该样本被分为什么TP...转载 2019-07-06 11:20:49 · 239 阅读 · 0 评论 -
Dropout 学习记录
参考:深度学习中Dropout原理解析https://blog.csdn.net/program_developer/article/details/80737724目录1为什么要用 Dropout?2 什么是 Dropout?步骤:(1)训练阶段:(2)在测试模型阶段3. Dropout为什么可以解决过拟合?4 Dropout注意事项?4.1 缩放...原创 2019-07-24 11:56:57 · 1366 阅读 · 0 评论 -
AdaGrad算法
参考:深度学习优化方法-AdaGradhttps://blog.csdn.net/program_developer/article/details/80756008AdaGrad算法介绍表示第i个参数的梯度,对于经典的SGD优化方法,参数θ的更新为:再来看AdaGrad算法表示为:其中,r为梯度累积变量,r的初始值为0。ε为全局学习率,需要自己设置。δ为小常数,为了...原创 2019-08-02 17:04:52 · 9673 阅读 · 0 评论 -
分类网络
干货 | 一文总结经典 CNN 架构,从 LeNet 到 SENethttps://blog.csdn.net/qq_20084101/article/details/88255726转载 2019-07-26 16:46:13 · 208 阅读 · 0 评论 -
面试需要学习的基础知识汇总-BMC(20190804建)(索引)
目录深度学习机器学习论文图像处理面试问题深度学习attention机制:pixel还是frame,是soft还是hard 优化器,优化方法(化器有哪些,怎么演进的,平时怎么用,如何调参数)(非常重要) momentum 损失函数 softmax loss(手推) 网易游戏面试:手推卷积层BP,全连接层BP,pooling反传,LSTM,RNN,传统方法:手推S...原创 2019-08-04 18:50:32 · 723 阅读 · 0 评论 -
Sigmoid和Relu激活函数的对比
深度学习笔记(4)——Sigmoid和Relu激活函数的对比https://blog.csdn.net/qq_21190081/article/details/64127103Relu是一个非常优秀的激活哈数,相比较于传统的Sigmoid函数,有三个作用:1. 防止梯度弥散2. 稀疏激活性3. 加快计算首先我们看下sigmoid和relu的曲线然后可以得到sigm...转载 2019-07-10 00:20:17 · 19117 阅读 · 0 评论 -
BatchNorm作用*(加速收敛,提高泛化能力,即防止过拟合)
暂存链接:关于BN层为什么加 /gamma 和 /beta,以及BN位于激活层前还是激活层后。:(天空之城)Feature Scaling 和 Batch Norm 笔记https://shomy.top/2017/12/05/Feature-Scaling-Batch-Norm/加速收敛,因为神经网络本质上是学习数据的分布情况,而mini-batch每次都会有不同的分布,也就是...原创 2019-07-04 00:46:12 · 7934 阅读 · 0 评论 -
Eigen库:四元数转欧拉角
一、四元数1. 维基百科https://zh.wikipedia.org/wiki/%E5%9B%9B%E5%85%83%E6%95%B8二、欧拉角1. 万向锁维基百科https://zh.wikipedia.org/wiki/%E7%92%B0%E6%9E%B6%E9%8E%96%E5%AE%9A欧拉角有两种:静态:即绕世界坐标系三个轴的旋转,由于物体...原创 2019-05-10 15:28:21 · 3154 阅读 · 0 评论 -
softmax推导 + BP推导 记录
softmax参考:1 详解softmax函数以及相关求导过程https://zhuanlan.zhihu.com/p/257231122 softmax的log似然代价函数(公式求导)https://blog.csdn.net/u014313009/article/details/51045303(这个似然函数求导部分没看明白)3交叉熵代价函数(作用及公...原创 2019-06-09 19:30:41 · 851 阅读 · 0 评论 -
激活函数学习
参考知乎:深度学习基础篇:如何选择正确的激活函数?https://zhuanlan.zhihu.com/p/30510596这里有点问题,死神经永远不会被激活吗?如何选择正确的激活函数?现在我们已经了解了这么多的激活函数,接下来就需要分析在哪种情况下应该使用哪种激活函数了。激活函数好或坏,不能凭感觉定论。然而,根据问题的性质,我们可以为神经网络更快更方便...原创 2019-06-10 23:33:11 · 150 阅读 · 0 评论 -
Batch Norm学习
1. 这篇文章总结的不错:Batch normalization和Instance normalization的对比?https://www.zhihu.com/question/68730628?sort=created评论;1: BN更注重的是对全局例如一个数据库的数据的归一化,因为在分类分割这种判定模型中,结果的确定是依赖于数据的整体分布的。而在做style tra...原创 2019-06-11 11:14:32 · 272 阅读 · 0 评论 -
优化器算法总结(BGD、SGD、MBGD、Momentum、NAG、Adagrad 未总结完)
参考的两篇博文(1) 优化算法总结-深度学习https://blog.csdn.net/fengzhongluoleidehua/article/details/81104051(2)深度学习——优化器算法Optimizer详解(BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam)https://www.cnblogs....原创 2019-07-01 15:29:52 · 1466 阅读 · 0 评论 -
面试常考基础知识总结(ML)
1. boosting2. bagging3. kMeans5. SVM6. 基于核函数、径向基7. 判别分析8. 随机深林9. adaboost原创 2019-06-26 16:57:36 · 153 阅读 · 0 评论 -
面试常考基础知识总结(DL+CV)
1. dropout2. Conv(X,Y)计算3.原创 2019-06-26 16:57:32 · 210 阅读 · 0 评论 -
L0、L1与L2范数_理解
机器学习中常常提到的正则化到底是什么意思?https://www.zhihu.com/question/20924039作者:陶轻松链接:https://www.zhihu.com/question/20924039/answer/131421690来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。By the way,各位计算机界的叔叔、阿姨、伯伯、...转载 2019-06-26 19:53:45 · 1066 阅读 · 0 评论 -
归一化和标准化区别
作者:小松链接:https://www.zhihu.com/question/20467170/answer/463834078来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。归一化:对数据的数值范围进行特定缩放,但不改变其数据分布的一种线性特征变换。1.min-max 归一化:将数值范围缩放到(0,1),但没有改变数据分布;min-max归...转载 2019-07-03 01:36:29 · 6043 阅读 · 0 评论 -
NMS 非极大值抑制
来自这篇博客【目标检测】NMS(Non-maximum suppression,非极大值抑制)算法https://blog.csdn.net/heiheiya/article/details/81169758转载 2019-07-03 13:41:10 · 147 阅读 · 0 评论 -
SVM
风险的概念真实风险由两部分内容刻画:(1)经验风险:代表了分类器在给定样本上的误差;(2)置信风险:代表了我们在多大程度上可以信任分类器在未知文本上分类的结果。很显然,置信风险是没有办法精确计算的,因此只能给出一个估计的区间,也使得整个误差只能计算上界,而无法计算准确的值(所以叫做泛化误差界,而不叫泛化误差)。置信风险与两个量有关,一是样本数量,显然给定的样本数量越大,我们的学...原创 2019-06-27 20:54:50 · 99 阅读 · 0 评论 -
BP、反向传播、求导等基础
博客:1.softmax,softmax-loss,BP的解释该博客对神经网络的前传和后传进行了详细的推导。原创 2019-06-09 19:30:20 · 168 阅读 · 0 评论