深度学习
Qidian213
麦田守望者
展开
-
Deep Learning中的Batch Normalization理解
原文作者: author: 张俊林出处:http://blog.csdn.net/malefactor/article/details/51476961 Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。目前几乎已经成为DL的标配了,任何有志于学习DL的同学们朋友们雷迪斯俺的詹特曼们都应该好好学一学BN。BN倒过来看就是NB,因为这个技术确实很NB...转载 2018-02-11 20:25:54 · 257 阅读 · 0 评论 -
深度学习中的Normalization模型
来源:深度学习前沿笔记 https://zhuanlan.zhihu.com/p/43200897作者:张俊林,新浪微博AI Lab担任资深算法专家注:小白想系统整理一些深度学习相关的理论知识,如有侵权请联系删除。Batch Normalization(简称BN)自从提出之后,因为效果特别好,很快被作为深度学习的标准工具应用在了各种场合。BN大法虽然好,但是也存在一些局限和问题,...转载 2018-11-01 14:23:28 · 726 阅读 · 0 评论 -
马氏距离
马氏距离Mahalanobis距离是表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系与欧氏距离不同的是它考虑到各种特性之间的联系(例如:一条关于身高的信息会带来一条关于体重的信息,因为两者是有关联的)并且是尺度无关的(scale-invariant),即独立于测量尺度。举个例子,坐飞机从上海到北京和坐普快从上海到北京,由于速度的差异...转载 2018-05-18 09:46:01 · 1115 阅读 · 0 评论 -
匈牙利算法
通过数代人的努力,你终于赶上了剩男剩女的大潮,假设你是一位光荣的新世纪媒人,在你的手上有N个剩男,M个剩女,每个人都可能对多名异性有好感(-_-||暂时不考虑特殊的性取向),如果一对男女互有好感,那么你就可以把这一对撮合在一起,现在让我们无视掉所有的单相思(好忧伤的感觉),你拥有的大概就是下面这样一张关系图,每一条连线都表示互有好感。本着救人一命,胜造七级浮屠的原则,你想要尽可能地撮合更多的情侣,...转载 2018-05-17 20:28:24 · 222 阅读 · 0 评论 -
官方版Mask-Rcnn(Detectron-caffe2)训练自己的数据集
最近在学习官方版的 Mask-Rcnn , 已经能够训练 , 下面简述下使用自己数据集训练的方法。工程目录:https://github.com/facebookresearch/Detectron经过测试验证官方版的Mask-Rcnn是可以直接使用COCO数据集进行训练的,所以本文也是COCO格式的数据集的制作方法。一,labelme标注数据集 制作数据集时主要使用labelme...原创 2018-04-13 16:57:38 · 17310 阅读 · 58 评论 -
机器学习中常常提到的正则化到底是什么意思?
举个例子 这是个基于多核的支持向量机的目标函数 d是多核函数的参数 它说r(d)是正则项。为什么要令r(d)为正则项,有什么目的?https://www.zhihu.com/question/20924039...转载 2018-04-02 15:07:36 · 1171 阅读 · 0 评论 -
ImportError: libcusolver.so.8.0: cannot open shared object file: No such file or directory
如果你尝试: sudo vim ~/.bashrc export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda/lib64" export CUDA_HOME=/usr/local/cuda source ~/.bashrc还不能解决的话,那么终端中运行下面一句应该就能搞定了: su...原创 2018-03-01 21:37:22 · 180 阅读 · 0 评论 -
How to reduce bias and variance ?
bias和variance在深度学习中是两个不同的概念,一个是偏差,一个是方差,这两个中文名字反而更让人混淆一点。偏差可以理解为训练出来的模型和真实数据分布的差距。 例如偏差小,说明模型和真实分布相差不大;偏差很大,说明训练出来的模型和真实分布相差较大。例如只用了一个直线,进行了一个复杂分布的二分类。很明显这个模型的偏差是很大的。方差很好理解,在数学上就是统计模型离...原创 2018-02-22 20:57:10 · 358 阅读 · 0 评论 -
Softmax的实现
详解:https://zhuanlan.zhihu.com/p/25723112原创 2018-02-21 21:26:33 · 585 阅读 · 0 评论 -
优化算法:动量梯度下降+RMSprop+Adam算法+学习率衰减
原作:cloud&ken发表于:博客园链接:http://www.cnblogs.com/cloud-ken/p/7728427.html 动量梯度下降法(Momentum)另一种成本函数优化算法,优化速度一般快于标准的梯度下降算法.基本思想:计算梯度的指数加权平均数并利用该梯度更新你的权重假设图中是你的成本函数,你需要优化你的成本函数函数形象如图所示.其中红点所示就是你的最低点.使用常规...转载 2018-02-17 12:18:21 · 9739 阅读 · 0 评论 -
优化算法:指数加权平均
在学习吴恩达的深度学习系列课程,优化算法部分,权重更新部分讲到指数加权平均,查找到下面博文。此博文看配图,举例,也是吴恩达课程的总结,故此转载。原作:cloud&ken发表于:博客园链接:https://www.cnblogs.com/cloud-ken/p/7723755.html 指数加权平均举个例子,对于图中英国的温度数据计算移动平均值或者说是移动平均值(Moving average...转载 2018-02-17 11:19:27 · 10636 阅读 · 2 评论 -
深度机器学习中的batch的大小对学习效果有何影响?
原文地址:https://www.zhihu.com/question/32673260谈谈深度学习中的 Batch_SizeBatch_Size(批尺寸)是机器学习中一个重要参数,涉及诸多矛盾,下面逐一展开。首先,为什么需要有 Batch_Size 这个参数?Batch 的选择,首先决定的是下降的方向。如果数据集比较小,完全可以采用全数据集 ( Full Batch Learning )的形式,...转载 2018-02-15 15:50:45 · 438 阅读 · 0 评论 -
Why normalize input ?
1,怎么正则化输入?2,为什么?原创 2018-02-11 20:34:18 · 403 阅读 · 0 评论 -
深度学习-理论
1,Normalization 的作用 https://blog.csdn.net/u014525760/article/details/836197472,Normalization 后scale 的作用?3,batch size 大小的影响4,输入归一化的目的5, 梯度消失与梯度爆炸6, 何恺明等 arxiv << Rethinking Ima...原创 2018-11-01 16:03:06 · 285 阅读 · 0 评论