深度学习基础
文章平均质量分 73
yuanyongsama
一面研究人工智能,一面修仙
展开
-
激活函数
ReLU及其扩展目前,深度学习中最常见的激活函数是g(z)=max{0,z}g(z) = max\{0, z\} ,翻译为整流线性单元(rectified linear unit)或者称为ReLU。“该激活函数是被推荐用于大多数前馈神经网络的默认激活函数。将此函数用于线性变换的输出将产生非线性变换。然而,函数仍然非常接近线性,在这种意义上它是具有两个线性部分的分段线性函数。由于整流线性单元几乎是线性原创 2017-08-21 17:56:53 · 1896 阅读 · 0 评论 -
深度模型中的优化算法
某猪场的笔试题问到了深度学习中的优化算法,由于准备不足扑街了,后来补了一下这方面的知识,整理如下:基本算法随机梯度下降(SGD)实践中,一般会线性衰减学习率直到第τ\tau次迭代:ϵk=(1−α)ϵ0+αϵτ\epsilon_k = (1-\alpha)\epsilon_0 + \alpha\epsilon_{\tau}其中,α=kτ\alpha=\frac{k}{\tau}。在τ\tau布迭代之后原创 2017-08-29 16:59:11 · 2024 阅读 · 0 评论