深度学习
文章平均质量分 87
_Ronnie_
这个作者很懒,什么都没留下…
展开
-
【笔记】神经网络的优化问题(一)
神经网络的优化问题(一)笔记总结自《神经网络与深度学习》第7章-网络优化与正则化1. 高纬空间的非凸优化在高纬空间中,大部分的局部最优点都是鞍点。因此,在深度网络的非凸优化问题的难点是如何逃离鞍点。通过引入随机因素,能够解决梯度下降方法在鞍点附近梯度为0的问题,从而有效地逃离鞍点。2. 改善神经网络计算的优化方法2.1 小批量(Mini-batch )梯度下降初衷:通常深度神经网络使用的数据量都非常大,不适合一次性加载所有的数据进行梯度计算和更新,因此用到了小批量的梯度更新方法。影响小批量梯原创 2021-01-18 16:34:16 · 2133 阅读 · 0 评论 -
【笔记】torch 乘法总结
【笔记】torch 乘法总结一、乘号(*) 和 torch.mul()element-wise 即对应元素相乘例子:>>> a = torch.randn(2,3)>>> b = torch.randn(2,1)>>> res = a * b>>> restensor([[-0.9672, -0.1052, 0.1392], [-0.8552, 0.8967, -0.6433]])特别地,如果是(原创 2021-05-07 19:53:03 · 3656 阅读 · 0 评论