李沐老师pytorch笔记

最新推荐文章于 2024-07-21 21:29:34 发布

百大小伙计

最新推荐文章于 2024-07-21 21:29:34 发布

阅读量556

点赞数 2

文章标签： pytorch 深度学习人工智能

本文链接：https://blog.csdn.net/m0_55392122/article/details/123171705

版权

笔记

1.关于模型的训练，胖的模型相比深度的模型更加不好训练
2.关于模型的层数理解，只有在有w参数的情况下才属于一层
3.对于激活函数tanh，Sigmoi，ReLu函数
4.鲁棒性：
5.训练集和测试集之间的关系：
6.k-折交叉验证：
7.总结：

1.关于模型的训练，胖的模型相比深度的模型更加不好训练

2.关于模型的层数理解，只有在有w参数的情况下才属于一层

3.对于激活函数tanh，Sigmoi，ReLu函数

在这里插入图片描述

4.鲁棒性：

以下解释来自维基百科
鲁棒性（英语：Robustness）可能指：
在生物学中，
鲁棒性 (进化)，指系统在扰动或不确定的情况下仍能保持它们的特征行为。根据所涉及的扰动，可分为突变鲁棒性、环境鲁棒性，等。
突变鲁棒性，在突变时生物体的表型仍保持不变的能力。
稳健性 (形态学)（英语：Robustness (morphology)）
鲁棒控制
鲁棒优化
鲁棒决策，一种尽可能对不确定性免疫，并在作出后相当长时间仍看上去不错的决策。
鲁棒统计，即使其假设与产生数据的真实模型不符，依然能良好运作的一种统计技巧。
鲁棒性 (计算机科学)
稳健性 (经济学)
鲁棒性 (化学)又称坚固性 (化学)，是指一种物质的化学结构在化学或机械作用下不受损坏的特性。

5.训练集和测试集之间的关系：

训练误差：训练数据集的误差
泛化误差：测试数据集的误差
将训练数据集中取出50%的数量去作为训练数据集，将剩余的50%作为验证数据集
划重点：不要将训练集和测试集弄混，测试集没有标签，通过训练数据集来进行调整超参数，使测试数据集的结果更可观
切记不同将真正的测试集进行多次训练，那相当于你考试把卷子写无数遍！！！