cs231n
cheetah023
这个作者很懒,什么都没留下…
展开
-
2020 cs231n 作业3 笔记 Generative_Adversarial_Networks_PyTorch
Generative Adversarial Networks论文地址:Generative Adversarial Networks对抗生成网络(GAN)的主要结构包括一个生成器G(Generator)和一个判别器D(Discriminator)。判别器D的目标:对输入的图片正确进行判别为真图片还是假图片。生成器G的目标:生成假图片,但是能让判别器判断为真。所以一方面:要最大化生成器生成的图片被判别为真的概率具体就是判别器D对输入为G(z)的数据,判别为真的概率,即最大化D原创 2020-07-30 16:13:14 · 1931 阅读 · 1 评论 -
2020 cs231n 作业3 笔记 StyleTransfer-PyTorch
目录StyleTransfer-PyTorcContent lossStyle lossTotal-variation regularizationStyle TransferStyleTransfer-PyTorc论文地址,风格迁移是取两张图片,把一张图片的风格和另一张图片的内容合成为一张新的图片。Content losscontent loss用来计算原图片和生成的图片之间像素的差距,这里用的是卷积层获取的feature map之间的差距。公式为:..原创 2020-07-30 12:22:50 · 1041 阅读 · 0 评论 -
2020 cs231n 作业3 笔记 NetworkVisualization-PyTorch
NetworkVisualization-PyTorchSaliency Maps论文链接,Saliency Maps用来表示每个像素对图像分类得分的影响程度。这里是通过反向传播,来计算每个图片像素的梯度的绝对值,然后在三个通道中选最大值,图片像素维度为(3,H,W),则Saliency Maps的维度为(H,W)def compute_saliency_maps(X, y, model): """ Compute a class saliency map using the原创 2020-07-30 11:10:19 · 1388 阅读 · 0 评论 -
2020 cs231n 作业3 笔记 LSTM_Captioning
LSTM_Captioning1、简介LSTM里面加入了输入门,遗忘门,输出门,候选记忆细胞(cs231n里面叫g)遗忘门F控制上一时间步的记忆细胞中的信息是否传递到当前时间步,而输入门则控制当前时间步的输入通过候选记忆细胞如何流入当前时间步的记忆细胞。如果遗忘门一直近似1且输入门一直近似0,过去的记忆细胞将一直通过时间保存并传递至当前时间步,这个设计可以应对RNN中的梯度衰减问题,并更好地捕捉时间序列中时间步距离较大的依赖关系。2、作业代码实现2.1、LSTM: step fo原创 2020-07-27 21:55:20 · 643 阅读 · 0 评论 -
2020 cs231n 作业3 笔记 RNN_Captioning
RNN(Recurrent Neural Network)1、简介循环神经网络(RNN)是一类用于处理序列数据的神经网络原创 2020-07-27 21:20:29 · 1255 阅读 · 0 评论 -
2020 cs231n 作业2笔记 PyTorch
PyTorch1、简介pytorch官方文档地址:https://pytorch.org/docs/stable/index.html(用来查pytorch的各种函数)pytorch官方导学地址:https://pytorch.org/tutorials/(上面有很多pytorch的代码例子)作业介绍了三种抽象程度级别的模块API Flexibility Convenience Barebone High Low nn.Module High ..原创 2020-07-24 15:37:16 · 1230 阅读 · 0 评论 -
2020 cs231n 作业2笔记 Convolutional Networks
Convolutional Networks1、卷积层1.1简介关于卷积神经网络的简介,架构等,我的另一篇博文介绍比较详细,这里就不再多说了。另外cs231n官网介绍入口在这里直接上代码实现相关的图。1.2、代码实现前向传播def conv_forward_naive(x, w, b, conv_param): """ A naive implementation of the forward pass for a convolutional layer..原创 2020-07-24 15:15:59 · 1266 阅读 · 0 评论 -
2020 cs231n 作业2笔记 Dropout
Dropout1、简介dropout随机选取一定比例的单元,将其输出置为02、代码实现:def dropout_forward(x, dropout_param): """ Performs the forward pass for (inverted) dropout. Inputs: - x: Input data, of any shape - dropout_param: A dictionary with the following原创 2020-07-24 14:17:08 · 448 阅读 · 0 评论 -
2020 cs231n 作业2笔记 Batch Normalization
Batch Normalization1、简介Batch Normalization(批量归一化)在2015年提出来,论文地址。机器学习在输入数据由均值为0,单位方差的不相关特征构成的时候往往表现得更好,但随着网络的训练,每层的weight在不断更新,导致后面layer的输入数据会发生偏移,不再具有均值为0或单位方差,而数据进入网络前,进行数据预处理解决不了这个问题。所以提出了Batch Normalization。批量归一化通常在全连接层(fully-connected layer)或卷积原创 2020-07-24 00:09:26 · 811 阅读 · 0 评论 -
2020 cs231n 作业2笔记 FullyConnectedNets
FullyConnectedNets简介:神经网络的一般架构可以看作是把很多个layer拼接起来的,如果我们把每个layer的前向传播和反向传播单独实现,这样就可以比较方便的将多个任意layer拼接起来。affine_forward实现线性layer的前向传播:def affine_forward(x, w, b): """ Computes the forward pass for an affine (fully-connected) layer. T原创 2020-07-20 19:30:06 · 2380 阅读 · 0 评论 -
2020 cs231n 作业1笔记 two_layer_net
目录Two-Layer Neural Network前向传播:反向传播实现loss函数实现train函数:Tune your hyperparameters保存文件:Two-Layer Neural Network前向传播:一个前向传播的计算例子反向传播参考:Backpropagation, Intuitions反向传播使用链式法则,如图上的例子,链式法则为:实现loss函数实现cs231n/classifiers/neural..原创 2020-07-20 01:38:45 · 1610 阅读 · 0 评论 -
2020 cs231n 作业1笔记 softmax
Softmax Classifier (Multinomial Logistic Regression)(softmax分类器,多分类逻辑回归)求losssoftmax函数:Softmax分类器使用的是交叉熵损失(corss-entropy loss) 计算例子: ...原创 2020-07-20 00:34:07 · 784 阅读 · 0 评论 -
2020 cs231n 作业1笔记 svm
Multiclass Support Vector Machine loss(SVM loss)求loss:SVM的损失函数想要SVM在正确分类上的得分始终比不正确分类上的得分高出一个边界值。如果正确分类得分比不正确分类得分高出,则损失为0,否则为:正确分类得分 - 不正确分类得分 +损失函数的公式:计算例子:求梯度:直观理解根据损失函数的公式两边求导,svm_loss_naive首先完成cs231n/classifiers/linear_svm...原创 2020-07-19 19:59:39 · 518 阅读 · 0 评论 -
2020 cs231n 作业1笔记 knn
作业链接:cs231n官网Assignment 1刚开始遇到一个坑,就是py文件老是没保存,后来才知道需要运行.ipynb文件后面的代码来保存py文件打开knn.ipynb,首先要实现的是cs231n/classifiers/k_nearest_neighbor.py文件里的compute_distances_two_loops(self,X)这个函数。函数计算的是L2 distance。公式:L1 distance: L2 distance: f...原创 2020-07-19 16:51:18 · 1324 阅读 · 0 评论 -
2020 cs231n 卷积神经网络 学习笔记
深度前馈网络(deep feedforward network):1、前馈网络目标:是近似某个函数f(),定义了一个映射y=f(x;theta),并且学习参数theta的值,使它能够得到最佳的函数近似。前馈(feedforward )是因为模型的输出和模型本身之间没有反馈连接,当前馈网络被扩展成包含反馈连接时,它们被称为循环神经网络(recurrent neural network)...原创 2020-07-13 09:32:21 · 2946 阅读 · 0 评论