![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch学习
文章平均质量分 57
WangJue-tsinghua
这个作者很懒,什么都没留下…
展开
-
第八课 BERT
的内积表示有多匹配,最终的得分值经过softmac就是最终上下文结果。方法一:随机mask句子中的词汇,预测被mask的是什么。使用transformer的encoder端。方法二:预测两个句子是否应该连在一起。训练BERT(有很多方法)原创 2023-10-18 17:24:01 · 47 阅读 · 1 评论 -
第七课 视频
3D卷积:比2D卷积多了一个时间维度。C3D网络(动作捕捉、识别)原创 2023-10-18 17:22:15 · 39 阅读 · 1 评论 -
第六课 GAN
先进行卷积(图像大小越来越小,特征图数量越来越多),再进行反卷积(图像大小越来越大,特征图数量越来越少)输入数据:只需要两组图像数据集即可,无需指定对应关系,例如马/斑马。创新点 1. 图像如何学习变化 2. 没有配对的图像。,最后多一层卷积得到PatchGAN。生成器网络模型(以MNIST为例)VISDOM可视化(科学上网)GAN:对抗生成网络。原创 2023-09-11 22:57:45 · 21 阅读 · 0 评论 -
第五课 CNN文本识别
个特征图,为了解决不同种类的卷积核得到不同大小的特征图,会对特征图进行一次pooling操作。,相当于每次选取n个词,使用不同数量,不同种类的卷积核总共得到。原创 2023-09-11 22:57:04 · 51 阅读 · 0 评论 -
第四课 RNN
词向量模型的输入通过查表获得,网络架构类似于RNN网络,更新网络的同时也会更新Look up表。LSTM:其存在一个控制参数C用于决定什么样的信息会被保留,什么样的信息将会被遗忘(门单元)而如果使用Sofmax来进行检索,词料库太大,计算量太大,所以主流使用直接预测下一个词的方式。Skip-Gram:输入是当前词,输出是上下文。RNN 递归神经网络,用于处理时间序列。每个数据会和上个数据的输出一起作为输入。CBOW:输入是上下文,输出是当前词。BiLSTM(双向LSTM)词向量(Word2Vec)原创 2023-09-11 22:56:23 · 17 阅读 · 0 评论 -
第三课 torchvision
其中虚线部分会做一个1*1的卷积使特征图翻倍(使用c个卷积核就会得到c个特征图)torchvision作用:训练数据下载,数据预处理,模型下载。卷积层用于特征提取。全连接层用于分类,所以卷积层可用于迁移学习。增加数据量,更高效的利用数据。可能图片的通道顺序还要改变。原创 2023-09-11 22:55:09 · 23 阅读 · 0 评论 -
第二课 卷积神经网络
堆叠小的卷积核所需的参数更少一些,卷积过程越多,特征提取也会越细致。池化层:压缩,降采样(一般选用maxpool)如果希望卷积后图像大小不变,设置。结果为(batch_size,层数(带参数的才能计数)原创 2023-09-11 22:53:27 · 24 阅读 · 0 评论 -
第一课 简介
使用GPU进行训练:把数据和模型传入cuda。hub模块:预训练模型加载。,则不会进行上述操作。原创 2023-09-11 22:49:38 · 18 阅读 · 0 评论