AI
文章平均质量分 84
Gεorge
生信、计算机待精通
展开
-
深度学习知识点记录
目录标准化BN与LN的区别标准化BN与LN的区别Batch normalization和Layer normalization的处理方向垂直,BN是对batch中每个样本的同一channel做normalization;LN是对一个样本的所有channel做normalization。当batch太小时BN不适合,同样当channel太少时LN不适合。..................原创 2021-09-05 16:51:27 · 31 阅读 · 0 评论 -
pytorch自定义函数实现自动梯度
Motivation构建模型有时需要使用自定义的函数,为了不影响模型的反向传播,需要实现自动梯度计算(即把自定义函数嵌入计算图)。实现要点:将函数定义为类,需继承自torch.autograd.Function类需实现两个静态方法:forward()和backward(),分别对应前向传播和反向传播函数使用前需调用apply方法从而嵌入计算图,实现自动求导用一个例子来说明:假设我们要实现一个多项式拟合模型: y=a+bP2(cx+d)y = a + bP_2(cx + d)y=a+bP原创 2021-07-25 20:50:45 · 1623 阅读 · 0 评论 -
从线性代数和图像两个角度理解L2正则化
目录前言L2正则化简介线性代数角度小结从图像角度直观理解小结补充总结前言正则化在机器学习和深度学习中都是很重要的技巧,其核心思想是通过偏差的增加来换取方差的减少----用训练误差的增大来换取泛化误差的减小。实现正则化主要有两类策略:1)向模型添加限制参数的额外约束2)向目标函数增加额外项来对参数值进行软约束常见的L1和L2正则化都是使用的第二种策略L2正则化简介L2正则化项:不考虑偏置参数,添加L2正则化之后的目标函数变成:其中 *J(θ; X, y)*是原来的目标函数,α是决定正原创 2021-07-23 21:43:15 · 693 阅读 · 0 评论