深度学习
cuijiali961224
这个作者很懒,什么都没留下…
展开
-
激活函数简介
激活函数简介 本文意在干脆地写明白激活函数的优缺点 sigmoid 激活函数 Sigmoid : σ(x)=11+e−x\sigma (x) = \frac{1}{{1 + e^{ - x} }}σ(x)=1+e−x1 优点 将变量映射到 [0,1] Logistic函数的特例 可用于二分类 因可解释为神经元的饱和激发率(firing rate) ,历史上比较流行 问题 饱和神经元会“k...原创 2019-07-15 15:30:17 · 436 阅读 · 0 评论 -
损失函数简介
损失函数简介 本文意在干脆地写明白损失函数的优缺点 损失函数,又称目标函数,或误差函数,用来度量网络实际输出与期望输出之间的不一致程度, 指导网络的参数学习和表示学习。 平方损失函数(Square Loss or L2L_2L2 Loss) L2L_2L2 Loss : L(y,f(x))=(y−f(x))2L(y,f(x)) = (y - f(x))^2L(y,f(x))=(y−f(x))...转载 2019-07-15 15:33:53 · 784 阅读 · 0 评论 -
梯度下降策略简介
梯度下降训练策略 本文意在干脆地写明白梯度下降训练策略的优缺点 批次梯度下降 (Batch Gradient Descent ) 利用全部训练数据集计算损失函数的梯度来执行一次参数更新 θ⇐θ−η⋅∇J(θ) \theta \Leftarrow \theta - \eta {\rm{\cdot}}\nabla J(\theta ) θ⇐θ−η⋅∇J(θ) 缺点: 更新较慢 不能在线更新模型 ...原创 2019-07-15 15:37:33 · 287 阅读 · 0 评论 -
梯度下降优化算法简介
原创 2019-07-15 15:39:41 · 119 阅读 · 0 评论 -
深度学习基础知识整理
神经网络基本知识 这是一个概括型整理的文章,从大体几个类介绍神经网络的基本知识。重点在理清神经网络的知识点。 万能逼近原理(Universal approximation theorem) 只需一个包含单个隐藏层的前馈神经网络,即可逼近任意一个连续函数 个人认为,这是证明深度学习有效性的前提 激活函数 常见激活函数有 sigmoid、tanh、ReLu (及其家族)、Softmax 使用激活函数重...原创 2019-07-15 15:40:24 · 272 阅读 · 0 评论