深度学习
海阔心-Fosen
微信公众号 :海阔心
展开
-
机器学习中的范数规则化之(一)L0、L1与L2范数
转载自:https://blog.csdn.net/zouxy09/article/details/24971995 今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大,为了不吓到大家,我将这个五个部分分成两篇博文。知识有限,以下都是我一些浅显的看法,如果理解存在错误,希望大...转载 2018-04-25 22:28:27 · 246 阅读 · 0 评论 -
机器学习中的范数规则化之(二)核范数与规则项参数选择
转载自:https://blog.csdn.net/zouxy09/article/details/24972869上一篇博文,我们聊到了L0,L1和L2范数,这篇我们絮叨絮叨下核范数和规则项参数选择。知识有限,以下都是我一些浅显的看法,如果理解存在错误,希望大家不吝指正。谢谢。 三、核范数 核范数||W||*是指矩阵奇异值的和,英文称呼叫Nuclear Norm。这个相对于上面火热的...转载 2018-04-25 22:30:04 · 266 阅读 · 0 评论 -
神经网络之激活函数(Activation Function)
转载自:https://blog.csdn.net/cyh_24/article/details/50593400日常 coding 中,我们会很自然的使用一些激活函数,比如:sigmoid、ReLU等等。不过好像忘了问自己一(nn)件事:为什么需要激活函数?激活函数都有哪些?都长什么样?有哪些优缺点?怎么选用激活函数?本文正是基于这些问题展开的,欢迎批评指正! (此图并没有什么卵用,纯属为了装x...转载 2018-04-25 23:01:02 · 341 阅读 · 0 评论 -
详解机器学习中的梯度消失、爆炸原因及其解决方法
转自:https://blog.csdn.net/qq_25737169/article/details/78847691前言本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分,第一部分主要直观的介绍深度学习中为什么使用梯度更新,第二部分主要介绍深度学习中梯度消失及爆炸的原因,第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。 其中,梯度消失爆炸的解决...转载 2018-04-26 14:22:45 · 367 阅读 · 0 评论