![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CS231n 学习笔记
文章平均质量分 85
QingYuAn_Wayne
这个作者很懒,什么都没留下…
展开
-
CS231n Lecture 9: CNN architectures
文章目录AlexNetZFNetVGGNetGoogLeNetResNetAlexNet这里使用了两个GPU来训练,因为当时的GPU不够强大CONV1,2,4,5中的feature map的连接只在相同的GPU中有,而CONV3,FC6,FC7,FC8的feature map的连接会跨GPUZFNet在AlexNet的基础上调了超参数CONV1: 将 11x11 步长为4的卷积核换成了7x7步长为2的卷积核CONV3,4,5 分别用了512,1024,512个卷积核VGGNet可以看原创 2021-04-17 15:07:10 · 141 阅读 · 0 评论 -
CS231n Lecture 8: Training Neural Networks Part2
Optimization动量版SGDSGD仍然还有一些问题:当损失函数在一个方向快速改变,另一个方向很慢地改变时,梯度下降会变成非常慢地一个过程同时,SGD对于驻点和局部最小值的表现并不好,在那些地方会堵住。因此,现在考虑一种SGD+动量的方法:现在的速度 = 摩擦系数 * 之前的速度+梯度新的权重 = 旧的权重 - 学习率 * 新的速度摩擦系数一般取0.9或0.99Nesterov 动量vt+1=ρvt−α∇f(xt+ρvt)xt+1=xt+vt+1\begin{aligned}v_{原创 2021-04-17 15:01:20 · 143 阅读 · 0 评论 -
CS231n Lecture 7 Training Neural Networks part 1
overview1.一次设置激活函数,预处理,权重初始化,正则化,梯度检查2.训练时动态调整迁移学习,参数更新,超参数优化3.评估model ensembles, test-time augmentation文章目录overview激活函数Sigmoid 函数tanh(x)ReLU家族Maxout Neuron数据预处理权重初始化Batch NormalizationBabysitting the Learning Process激活函数与神经细胞类比:从神经元轴突传来数据(x0)到达原创 2021-04-17 14:58:39 · 180 阅读 · 0 评论 -
CS231n Lecture 4: 神经网络和反向传播
Lecture 4 神经网络和反向传播Lecture 4: 神经网络和反向传播神经网络线性分数函数:f=Wx+bf=Wx + bf=Wx+b2层神经网络: f=W2max(0,W1x+b1)+b2f = W_2max(0,W_1x + b_1) + b_2f=W2max(0,W1x+b1)+b2在这里,更精确地来说,应该叫做全连接神经网络(FC)在两层神经网络中,使用了非线性激活函数ReLU。如果不使用非线性激活函数的话,最后会变为 在这种情况下,设 因此,实质上还是单层神经网络,不管原创 2021-04-16 16:25:44 · 95 阅读 · 0 评论 -
CS231n lecture 3 损失函数和优化
lecture 3 损失函数和优化文章目录lecture 3 损失函数和优化Multiclass SVM loss 多分类SVM损失函数正则项 RegularizationSoftmax Classifier优化 Optimization随机梯度下降法 Stochastic Gradient Descent (SGD)损失函数告诉我们目前的分类器的表现有多好整个数据的损失是每组数据的损失之和的平均值L=1N∑i=1NLiL=\frac{1}{N} \sum_{i=1}^{N} L_{i} L=N1原创 2021-04-16 09:31:28 · 165 阅读 · 0 评论 -
CS231n 02- KNN
文章目录Image classification taskNearest Neighbor Classifier 近邻分类器通过距离测量来比较图片KNN K近邻算法KNN的距离计算量度Hyperparameters 超参数KNN的缺点Linear Classifier 线性分类器Image classification task机器学习:基于数据的解决方案步骤:1.收集大量的图片并打上标签 2.使用机器学习算法来训练一个分类器 3.用新的图片来评估分类器的好坏Nearest Neighbor Cla原创 2021-04-16 09:28:52 · 107 阅读 · 0 评论 -
CS231n lecture 5 Convoluntional Neural Networks 卷积神经网络
lecture 5 Convoluntional Neural Networks 卷积神经网络卷积层卷积神经网络可以保留输入图像的结构。滤波器的深度和输入图像的深度是一样的。在卷积层,滤波器会对图片进行扫描,类似于网格平移一样的,每次扫描就是直接相乘求和再加上bias得到一个值。最后可以得到一个28281的activation map如果有6个5*5的滤波器,那么会得到6层activation map卷积神经网络包括了一系列的卷积层和激活函数。前面的卷积层会提取出低级特征,中间的卷积层根据低原创 2021-04-16 16:31:22 · 256 阅读 · 0 评论