CS231N
文章平均质量分 82
鱼鱼9901
这个作者很懒,什么都没留下…
展开
-
CS231N assignment3-transformer,GAN,self-supervised,LSTM
4.自监督学习,完成的是一个simCLR(simple contrastive learning representation)对一个图片以两种策略生成两种图片变种,用f作为一个encoder(这里用的是resnet50),得到这两个图片的表示向量hi,hj,再将向量对送入g(一个小的神经网络,比如MLP)目标是最大化g(hi),g(hj)的一致性。没搞懂的点:训练的时候用的是pairs(成对的数据)那test的时候是如何进行的?这部分作业完成的是decoder的部分,目标是为图片生成字幕。原创 2023-07-24 22:51:42 · 388 阅读 · 0 评论 -
RNN,LSTM,GRU,Seq2Seq,Seq2Seqwithattention,transformer
只不过encoder传给decoder的不只是第T时刻(最后一个时刻)的hidden state,还有前面所有的hidden state,用所有的hidden state * softmax(hidden state) + 第T时刻的hidden state 作为decoder的输入。然后最牛的transformer就诞生了:完全没有用RNN/LSTM/GRU,直接进行并行处理,先提取每个单词在句子中的权重softmax(Q*K/根号下dk),再对V进行加权求和,考虑到了每个句子中单词与单词之间的联系。原创 2023-07-20 21:05:47 · 507 阅读 · 0 评论 -
CNN复习
对每个输入的图片(就是每一个(C,H,W)的矩阵,一共有batch_size个),卷积核从第0到第in_channel个通道上,进行从[0,0]到[H+2*pad-HH,W+2*pad-WW]的卷积(没有padding的情况下,HH,WW是卷积核的高和宽)(卷积的实际意思:用卷积核W * 像素矩阵中与W相同size的区域),把C个通道卷积的结果相加,最后再加上偏置,就得到了一层output,假如有F个卷积核,那么就会得到F层结果,F也就是Out_channel。个人的对于CNN总结的一些知识点。原创 2023-07-20 19:59:32 · 165 阅读 · 0 评论 -
CS231N assignment3 RNN
这里的emb_caption 是由groundtruth的句子中的单词得来的emb,而在test中,除了第一个emb_caption是groundtruth以外,之后的每一步的emb_caption都是由上一步得到的next_h进行转换得到的。这里的t时刻其实就是一个句子里面的单词数,为了方便会统一到一个最长长度,对于比这个长度短的部分用null进行填充,并且在方法内部会让Null不进行传播和梯度计算。我们最终要的是h(shape是(N,T,H)),最终的h经过一系列后处理会得到新的句子。原创 2023-07-11 11:56:05 · 795 阅读 · 2 评论 -
CS231N作业 A2Q5 pytorch
用pytorch可真是太方便了。。。You’ve written a lot of code in this assignment to provide a whole host of neural network functionality. Dropout, Batch Norm, and 2D convolutions are some of the workhorses of deep learning in computer vision. You’ve also worked hard to m原创 2023-06-08 11:21:12 · 687 阅读 · 0 评论 -
CS231N作业 A2Q4:ConvolutionalNetworks
完成以下六个任务:1.CNN的前向传播2.CNN的反向传播3.“三明治”层——conv-relu-pool / conv-relu4.三层CNN:conv-relu-maxpool-affine-relu-affine-softmax5.空间BNBN——LN——spatial BN的Backward的区别:axis=0——axis=1——axis=2,3,4分别形成(,D) (N,) (N,G) 的数组。原创 2023-06-07 16:20:01 · 425 阅读 · 0 评论 -
CS231N作业 A2Q3 Dropout
需要注意的是再X与mask相乘之后,要除以p(保留的概率)因为mask这个0,1矩阵产生的时候是按照p这个概率产生的,所以输入矩阵的期望值也会变成原来的p倍,为了保证均值和输出均值一致,输出的时候要除以p同时,因为test的时候是不进行dropout的,所以要保持数据大小一样,不然就会导致模型没有学过test的完整的数据结构。原创 2023-06-05 15:54:39 · 249 阅读 · 0 评论 -
CS231N作业 A2Q2 BatchNormalization
进行了BN和LN,BN分别用了标准BN和Alternative BN两种计算方法进行BN依赖于Batchsize而LN 针对单个训练样本进行,不依赖于其他数据,因此可以避免 BN 中受 mini-batch 数据分布影响的问题。原创 2023-06-05 15:48:03 · 501 阅读 · 0 评论 -
CS231N作业:A2Q1 完成FullyConnectedNets
在这个文件里实现了如下任务:1、梯度检查(解析梯度与数值计算梯度进行比较,确定自己编写的梯度代码(forward和backward)没有问题)2、对小数据集(这里是50个data),确认模型可以过拟合。以确定自己的模型对这个问题是可以有用的3、更改update rules,查看了SGD,SGD+MOMENTUN,ADAM,ADAGRAD的不同又温习一遍每个优化器的不同和优缺点;学会了用Matplotlib把不同优化方法的acc,loss画在同一张图里的代码;原创 2023-06-01 12:06:30 · 590 阅读 · 0 评论 -
CS231N作业A1Q5:features
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VpKDgH2Z-1685407577687)(output_10_0.png)]这个作业比较简单了,就是应用一下前面做过的东西。从这里可见预处理特征在深度学习也是重要的!原创 2023-05-30 08:48:32 · 191 阅读 · 0 评论 -
CS231N作业A1Q4:two_layer_net 学会了loss的可视化、超参数的调节,准备自己应用一下!
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jgojuKu1-1685330175487)(output_22_0.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KHNVOqNn-1685330175488)(output_23_0.png)]原创 2023-05-29 11:21:45 · 665 阅读 · 3 评论 -
CS231N作业:A1Q3 softmax
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DbX7feHW-1685148498609)(output_13_0.png)]原创 2023-05-27 08:52:12 · 171 阅读 · 0 评论 -
CS231N作业 A1Q2 svm
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TmxBFOmC-1684979612250)(output_19_0.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N1kRompn-1684979612251)(output_22_0.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wLH7d7hT-1684979612247)(output_5_0.png)]原创 2023-05-25 09:59:55 · 483 阅读 · 0 评论 -
CS321N作业 Q1A1 KNN 作业以及代码,做此作业的收获
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3Khcc9uA-1684758921932)(output_6_0.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L6GUQsZ9-1684758921933)(output_12_0.png)]YourAnswer27%k, sayk = 5k = 1pijkijIkthe meanμμnhw1k1∑ni1∑。原创 2023-05-22 20:39:56 · 153 阅读 · 0 评论