python
LeCarry
这个作者很懒,什么都没留下…
展开
-
semi-supervised
1.给无标签数据进行标记 def get_pseudo_labels(dataset, model, threshold=0.7): # 给6786个无标签数据标记 # This functions generates pseudo-labels of a dataset using given model. # It returns an instance of DatasetFolder containing images whose prediction confidenc原创 2021-11-04 09:55:50 · 388 阅读 · 0 评论 -
Transformer学习总结
Transformer框架代码实现流程: 1.EncoderDecoder类实现编码器-解码器网络结构。 包括五个部分:编码器、解码器、编码器嵌入输入层、解码器嵌入输入层、generator生成输出。 1.1 模型输出:Linear+softmax 1.2 解码器层,包括三个子层:多头注意力子层+规范化层+残差连接、多头注意力层+规范化层+残差连接、前馈全连接层+规范化层+残差连接 1.2.1规范化层:采用layer normalization,防止随着网络层书增加导致计算后输出开始出现过大或者过原创 2021-10-17 22:05:04 · 157 阅读 · 0 评论