深度学习数学原理
深度学习数学原理
小鹏AI
深度学习算法工程师,主攻深度学习模型优化部署,辅攻图形图像算法调优。
中级软件设计师、英伟达Jeston Nano专家认证。
展开
-
深度学习 细聊深度学习中BP计算过程
BP:已知 y=relu(∣x∣−x3)y=relu(|x| - x^3)y=relu(∣x∣−x3)、x=[2−2]x = \begin{bmatrix} 2\\ -2\end{bmatrix}x=[2−2]、▽y=[−11]▽y=\begin{bmatrix} -1\\ 1\end{bmatrix}▽y=[−11], 求▽x▽x▽x求解步骤如下:首先我们绘制一下BP图由于x的值我们已知,所以,我们可以求出每一个支点处的值由于已知▽y=[−11]▽y=\begin{bmatrix} -原创 2020-07-06 17:05:18 · 377 阅读 · 0 评论 -
深度学习之利用梯度下降法实现数字的开方
问:y=f(x)在y=y∗的x∗=?y=f(x) 在y=y^* 的 x^* = ?y=f(x)在y=y∗的x∗=?为了求这种问题,我们需要用到梯度下降法梯度下降法的公式是:△x=−lr∗△y∗y′△x = -lr * △y*y'△x=−lr∗△y∗y′其中:lrlrlr是步长,目的是尽可能的缩小△x△y\frac{△x}{△y}△y△x与y′y'y′之间的距离y=y∗y = y ^ *y=y∗时xxx的解求yyy的最小值def sqrt(a): """利用梯度下降法进行开方计算"原创 2020-06-10 17:36:48 · 668 阅读 · 0 评论 -
深度学习 函数梯度的判断以及dict和one_hot的比较
有梯度的函数取最大值、最小值(relu)方差标准差常用函数没有梯度的函数取整操作y=x[i] (y对x是有梯度的。y对i是没有梯度的)【单个GPU是有梯度的。多个GPU是没有梯度的】首先: x[i] === i * xdict : y = x[i]获得的100%的 Deltax[i] 进行n的GPU的平均, 然后分配到每个GPUone_hot : y = i * xi本身是有梯度的(因为i是向量),i之前是一个id,是一个整数,没有deltaid的存在Tx = i’ *原创 2020-07-22 11:52:02 · 609 阅读 · 4 评论 -
深度学习之利用牛顿法对数字的开方求解
牛顿法:在实数域和复数域上近似求解方程的方法也就是:△y△x\frac{△y}{△x}△x△y 近似于 y′y'y′举个例子:利用牛顿法进行数字的开方处理定义需要开方的数字:a=2a=2a=2定义需要的方程:y=x2y = x^2y=x2xxxyyy△y=a−y△y=a-y△y=a−yy′=2xy'=2xy′=2x△x=△yy′△x=\frac{△y}{y'}△x=y′△y11120.51.52.25-0.253-0.08331.416原创 2020-06-10 16:31:22 · 502 阅读 · 0 评论