网络搭建
文章平均质量分 80
分享网络搭建中遇到的问题
亮子李
这个作者很懒,什么都没留下…
展开
-
BERT系列: tinyBERT 介绍与代码训练。
tinyBert的训练过程原创 2022-12-27 22:24:22 · 4185 阅读 · 4 评论 -
一文读懂bert结构。
BERT的结构介绍原创 2022-12-27 22:23:19 · 3513 阅读 · 5 评论 -
图文,文字预训练方式长期学习ing。
预训练是怎么做的呢?原创 2022-06-09 13:35:01 · 822 阅读 · 0 评论 -
对比学习 ——simsiam 代码解析。:
2022李宏毅作业HW3 是食物的分类 ,但是我怎么尝试 再监督学习的模式下 准确率都达不到百分之60 .。半监督也感觉效果不明显。 所以 这次就想着对比学习能不能用来解决这个问题呢 。?看了一圈,感觉simsiam是对比学习里比较简单的一种方法,好像效果也不错。 所以来看一看这个东西是怎么玩的。 simsaim 是对比学习很新的文章了。 他的训练方式简单来说就是 ,一张图片 ,用不同的方式去增广后形成图片对 。 然后用一张去预测另一张。 不懂得可以看朱老师的视频。对比学习论文综...原创 2022-04-14 20:34:16 · 9672 阅读 · 33 评论 -
数据增广albumentations用法 -借例 hw3 食物分类-
previous work:开启第三个作业 食物分类 , 有的人找不到数据集地址 放一个 :ml2021spring-hw3 | Kaggle前言:这个作业 每类带标签的数据很少, 然后又是可以看到的真实的图片,一般面对这种 ,我们都需要做数据增广。 所以着part1 我们就一起来探索数据增广的方式 。先说说 我对数据增广的理解。众所周知,数据增广的方式有很多,然后我们该选哪种呢 ?好吧 我承认 我非常的想用autoaugment 但是那个需要高版本的torchvision...原创 2022-03-19 21:29:40 · 2109 阅读 · 2 评论 -
MAE源代码理解 part2 : 预训练调试
拿MAE预训练模型来分类原创 2022-03-10 14:50:16 · 11025 阅读 · 50 评论 -
MAE源代码理解 part1 : 调试理解法
git官方链接:GitHub - facebookresearch/mae: PyTorch implementation of MAE https//arxiv.org/abs/2111.06377下了MAE代码 完全看不懂 我要一步一步来 把这篇代码给全部理解了 。我自己觉得看大神代码很有用。 这篇文章当笔记用。一,跑示例:怎么说 一上来肯定是把demo里的代码拿出来跑一跑。但是会遇到问题。 下面时demo的代码。 第一个问题是TypeError:...原创 2022-03-04 20:47:59 · 11832 阅读 · 44 评论 -
关于 Word2Vec 使用时遇到的一系列问题。
1 训练时model = Word2Vec(x, vector_size=250, window=5, min_count=5, workers=12, epochs=10, sg=1)原创 2021-06-04 17:16:49 · 2248 阅读 · 4 评论 -
对于计算正确率时 logits.argmax(dim=1),torch.eq(pre_label,label)
额 好像是一句非常简单的代码 ,但是作为新手 ,我是完全看不懂哎 前十眼。首先 这里的PRE label是一个 (a,b)维的张量。其中a是你的全连接输出维度,bsi原创 2021-05-31 11:10:58 · 3723 阅读 · 0 评论