深度学习
文章平均质量分 52
xiaoshu_yilian
#为了早点下班陪闺女
我们的追求各有不同,但都希望能在有限的人生里,快速通往自己向往的目的地。
展开
-
激活函数总结
关于激活函数的总结: 一、sigmoid激活函数 公式:1/(1+exp(-w1x1+w2x2+…)) sigmoid函数是一条穿过(0,0.5)的s型曲线,上下限分别无限逼近1,0 #sigmoid函数的缺点: 1、倾向于梯度消失 2、执行指数运算,计算速度较慢 3、sigmoid函数输出不是以0为中心,而是以0.5为中心,会降低权重更新的速率 二、Tanh/双曲正切激活函数 公式:2/(1+exp(-2(w1x1+w2x2+…)))-1 Tanh函数是一条穿过(0,0)的s型曲线,上下限分别无限逼近1,原创 2022-05-10 15:04:52 · 783 阅读 · 0 评论 -
关于NN(神经网络)的学习笔记
一、关于使用梯度下降求解损失函数极小值的原理: 简单来说首先我们的损失函数一定是基于参数单调递减的或者是可以收敛的。 第一步,先初始化参数取值, 第二步,把参数代入到损失函数,损失函数值没有小于给定的极小值,则迭代继续,否则该参数就是得到的最优解 第三步,此时的参数值再减去损失函数对参数的偏导的数值(损失函数对参数求偏导,把此时的参数值代入公式),就是迭代得到的参数值 第四步,回到第二步继续迭代 https://www.cnblogs.com/pinard/p/5970503.html 二、关于深度神经网络原创 2022-05-09 09:12:58 · 288 阅读 · 0 评论