记录一些bug

前言

底层打工人，在线调bug

关于pytorch中的模型

model.train()

符号描述:

• encoder表示embedding模型(可能是bert可能是glove…)
• model表示主模型，encoder的输出作为model输入

问题描述:
情况一:encoder和model是分开的模型，此时你在训练model的时候，一定会加上model.train()；情况二:如果encoder定义在了model里面，即model.init()中，你写了self.encoder=encoder，此时你再加上model.train()。
在这两个情况中，model部分的计算是一样的，但encoder不一样，一个是eval()模式，一个是train()模式，就会导致结果的不同

seed

符号描述:

• model表示你定义的模型
• a表示第一个线性层
• b表示第二个线性层

问题描述:
代码一:model中只定义了b这个线性层；代码二:为了好玩，model中同时定义了a和b这两个线性层，但实际使用的依然只有b这个线性层。
在这两份代码中，就算你seed固定的一样，那你的b的这个线性层的参数初始化就不一样了。