深度学习
文章平均质量分 79
清纯世纪
知识的搬运工
展开
-
深度学习模型复杂度评估(时间复杂度、空间复杂度)
由于维度灾难的限制,模型的参数越多,训练模型所需的数据量就越大,而现实生活中的数据集通常不会太大,这会导致模型的训练更容易过拟合。时间复杂度和空间复杂度是衡量一个算法的两个重要指标,用于表示算法的最差状态所需的时间增长量和所需辅助空间.如果复杂度过高,会导致模型训练和预测耗费大量时间,既无法快速的验证想法和改善模型,也无法做到快速的预测。层的计算算法,可能把乘法计算时间缩为加法的两倍不等,所以FLOPs只是个估量的指标,FLOPs 是模型推理时间的一个参考量,但并不能百分百表示该模型推理时间的长短,原创 2023-05-11 20:54:55 · 2623 阅读 · 0 评论 -
什么是模型鲁棒性和泛化能力
在统计学领域和机器学习领域,对异常值也能保持稳定、可靠的性质,称为鲁棒性。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。所谓“鲁棒性”,是指控制系统在一定(结构,大小)的参数摄动下,维持某些性能的特性。有一个与鲁棒性很相似的概念叫模型的泛化能力。鲁棒是Robust的音译,也就是健壮和强壮的意思。它也是在异常和危险情况下系统生存的能力。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。原创 2023-05-12 18:00:51 · 6181 阅读 · 0 评论 -
深度学习中一些术语
深度学习中,信息相互融合的时候,什么时候用concatenate,什么时候用elementwise乘法呢,什么时候又用elementwise加法呢?点乘其实是gate的形式 可能会损失性能。concatenate则是简单拼接,要网络自己学习变换。element-wise product实际上是两个同样维度的向量/矩阵每一个元素分别相乘。实际过程中可能只能试。原创 2023-05-07 21:26:49 · 715 阅读 · 0 评论