入门教程
Qidian213
麦田守望者
展开
-
Deep Learning中的Batch Normalization理解
原文作者: author: 张俊林出处:http://blog.csdn.net/malefactor/article/details/51476961 Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。目前几乎已经成为DL的标配了,任何有志于学习DL的同学们朋友们雷迪斯俺的詹特曼们都应该好好学一学BN。BN倒过来看就是NB,因为这个技术确实很NB...转载 2018-02-11 20:25:54 · 256 阅读 · 0 评论 -
Why normalize input ?
1,怎么正则化输入?2,为什么?原创 2018-02-11 20:34:18 · 403 阅读 · 0 评论 -
深度机器学习中的batch的大小对学习效果有何影响?
原文地址:https://www.zhihu.com/question/32673260谈谈深度学习中的 Batch_SizeBatch_Size(批尺寸)是机器学习中一个重要参数,涉及诸多矛盾,下面逐一展开。首先,为什么需要有 Batch_Size 这个参数?Batch 的选择,首先决定的是下降的方向。如果数据集比较小,完全可以采用全数据集 ( Full Batch Learning )的形式,...转载 2018-02-15 15:50:45 · 437 阅读 · 0 评论 -
优化算法:指数加权平均
在学习吴恩达的深度学习系列课程,优化算法部分,权重更新部分讲到指数加权平均,查找到下面博文。此博文看配图,举例,也是吴恩达课程的总结,故此转载。原作:cloud&ken发表于:博客园链接:https://www.cnblogs.com/cloud-ken/p/7723755.html 指数加权平均举个例子,对于图中英国的温度数据计算移动平均值或者说是移动平均值(Moving average...转载 2018-02-17 11:19:27 · 10636 阅读 · 2 评论 -
优化算法:动量梯度下降+RMSprop+Adam算法+学习率衰减
原作:cloud&ken发表于:博客园链接:http://www.cnblogs.com/cloud-ken/p/7728427.html 动量梯度下降法(Momentum)另一种成本函数优化算法,优化速度一般快于标准的梯度下降算法.基本思想:计算梯度的指数加权平均数并利用该梯度更新你的权重假设图中是你的成本函数,你需要优化你的成本函数函数形象如图所示.其中红点所示就是你的最低点.使用常规...转载 2018-02-17 12:18:21 · 9738 阅读 · 0 评论 -
Softmax的实现
详解:https://zhuanlan.zhihu.com/p/25723112原创 2018-02-21 21:26:33 · 585 阅读 · 0 评论 -
How to reduce bias and variance ?
bias和variance在深度学习中是两个不同的概念,一个是偏差,一个是方差,这两个中文名字反而更让人混淆一点。偏差可以理解为训练出来的模型和真实数据分布的差距。 例如偏差小,说明模型和真实分布相差不大;偏差很大,说明训练出来的模型和真实分布相差较大。例如只用了一个直线,进行了一个复杂分布的二分类。很明显这个模型的偏差是很大的。方差很好理解,在数学上就是统计模型离...原创 2018-02-22 20:57:10 · 356 阅读 · 0 评论 -
ImportError: libcusolver.so.8.0: cannot open shared object file: No such file or directory
如果你尝试: sudo vim ~/.bashrc export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda/lib64" export CUDA_HOME=/usr/local/cuda source ~/.bashrc还不能解决的话,那么终端中运行下面一句应该就能搞定了: su...原创 2018-03-01 21:37:22 · 180 阅读 · 0 评论