技巧
提高效率的小tips
hazel爱吃肉
make it count
展开
-
eval模式和train模式
eval模式和train模式得到不同的结果是正常的。我的模型中,eval模式和train模式不同之处在于Batch Normalization和Dropout。Dropout比较简单,在train时会丢弃一部分连接,在eval时则不会。Batch Normalization,在train时不仅使用了当前batch的均值和方差,也使用了历史batch统计上的均值和方差,并做一个加权平均(momentum参数)。在test时,由于此时batchsize不一定一致,因此不再使用当前batch的均值和方差,仅使用历转载 2022-05-19 10:57:32 · 818 阅读 · 0 评论 -
Pycharm代码提示忽略大小写
Pycharm代码提示忽略大小写取消勾选Match case,就可以了原创 2021-11-04 13:29:24 · 638 阅读 · 0 评论 -
预训练 & 微调
预训练和微调概念1.pre−training/trained你需要搭建一个网络模型来完成一个特定的图像分类的任务。首先,你需要随机初始化参数,然后开始训练网络,不断调整直到网络的损失越来越小。在训练的过程中,一开始初始化的参数会不断变化。当你觉得结果很满意的时候,你就可以将训练模型的参数保存下来,以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是pre-training。2.finetuning之后,你又接收到一个类似的图像分类的任务。这时候,你可以直接使用之前保存下来的模型原创 2021-11-26 14:24:48 · 348 阅读 · 0 评论