- 博客(3)
- 收藏
- 关注
RSS订阅原创 semi-supervised
1.给无标签数据进行标记 def get_pseudo_labels(dataset, model, threshold=0.7): # 给6786个无标签数据标记 # This functions generates pseudo-labels of a dataset using given model. # It returns an instance of DatasetFolder containing images whose prediction confidenc
2021-11-04 09:55:50
388
原创 Transformer学习总结
Transformer框架代码实现流程： 1.EncoderDecoder类实现编码器-解码器网络结构。 包括五个部分：编码器、解码器、编码器嵌入输入层、解码器嵌入输入层、generator生成输出。 1.1 模型输出：Linear+softmax 1.2 解码器层，包括三个子层：多头注意力子层+规范化层+残差连接、多头注意力层+规范化层+残差连接、前馈全连接层+规范化层+残差连接 1.2.1规范化层：采用layer normalization，防止随着网络层书增加导致计算后输出开始出现过大或者过
2021-10-17 22:05:04
157
原创 刘二注解-待完善
softmax：将输出转换为和为1的分布 exp+/ NLLloss：（-1）* 外部输入onehot * log(x) 交叉熵损失：softmax + NLLloss
2021-10-10 22:34:18
65
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人