复杂度，学习率

dyckkkk

于 2020-09-11 15:50:57 发布

阅读量548

点赞数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/dyckkkk/article/details/108536011

版权

本文探讨了神经网络（NN）模型的复杂度，包括NN层数和参数量对计算复杂度的影响，以及空间和时间复杂度的概念。同时，重点介绍了学习率的重要性，特别是指数衰减学习率策略，如何在训练初期快速收敛并后期保持模型稳定性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

神经网络（NN）复杂度

在梳理CNN经典模型的过程中，我理解到其实经典模型演进中的很多创新点都与改善模型计算复杂度紧密相关，
NN复杂度；多用NN层数和NN参数表示
空间复杂度；
层数=隐藏层层数数+1个输出层
时间复杂度：
乘加运算次数

学习率

指数衰减学习率
先用较大的学习率，快速得到较优解，然后逐步减小学习率，使模型在训练后期稳定
指数衰减学习率=初始学习率+学习率衰减率（当前轮数/多少轮衰减一次）

操作代码

import tensorflow as tf

w = tf.Variable(tf.constant(5, dtype=tf.float32)<

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。