关注
分享
文章平均质量分 54
此专栏详细解析了Stanford大学cs231n课程的lecture, course note以及assignment。不但详细记录了课程中的重点知识点，更是将作业中涉及到的公式推导以及编程心得一一罗列与此。
FortiLZ
这个作者很懒，什么都没留下…
展开
-
Stanford cs231n'18 课程及作业详细解读
Stanford原创 2018-06-26 11:03:19 · 4290 阅读 · 0 评论 -
cs231n'18：Lecture 1 | Introduction to Convolutional Neural Networks for Visual Recognition
一如既往，第一节课都是侃侃大山，没什么好说的。Lecture 1原创 2018-06-26 11:13:32 · 439 阅读 · 0 评论 -
cs231n'18：Lecture 2 | Image Classification Pipeline
Lecture 2的前半部分讲Course Note 1里面的内容，包括KNN和Validation。要点请参考Course Note 1的笔记。后半部分给Course Note 2里面的Linear Classification开个头。作业可以做knn。Lecture 2 链接...原创 2018-06-26 11:18:02 · 345 阅读 · 0 评论 -
cs231n'18：Lecture 3 | Loss Functions and Optimization
Lecture 3讲Course Note 2和Course Note 3里面的内容.前一部分讲SVM和Softmax loss function的计算。要点请参考Course Note 2的笔记。 听完这一节部分可以去做SVM和Softmax里面有关loss的作业，后一部分讲了一些optimization和svm grads的计算，参考Course Note 3的笔记。作业要做完svm和soft...原创 2018-06-26 11:21:02 · 223 阅读 · 0 评论 -
cs231n'18：Lecture 4 | Introduction to Neural Networks
第四节课前半部分讲Course Note 4的backprop，这一部分是这门课的重点，后面要写许多与此相关的代码，到时会一个一个的详细说。具体见Course Note 4笔记以及里面的作业。后面半部分讲与brain相关的一些知识，听听就行了。Lecture 4 链接...原创 2018-06-26 11:23:42 · 222 阅读 · 0 评论 -
cs231n'18：Lecture 5 | Convolutional Neural Networks
Lecture 5 讲的是 Course Note 9 里面的内容，建议先听 Lecture 6和7，然后Lecture 5和9一起听。Lecture 5 链接原创 2018-06-26 11:25:10 · 183 阅读 · 0 评论 -
cs231n'18：Lecture 6 | Training Neural Networks I
这一节讲Course Note 5/6和7中的一部分。这是这门课中讲的最烂的一节，内容杂乱，没有重点。既然ReLU是最常用的，为什么又拿tanh举例子；BN这么重要的问题没讲明白，下面同学提了一大堆问题。看看Course Note 5笔记，Course Note 6笔记，Course Note 7笔记就行了，也没多少东西。重点还是作业里代码怎么实现的。update：Course Note和视频都是...原创 2018-06-26 11:27:13 · 228 阅读 · 0 评论 -
cs231n'18：Lecture 7 | Training Neural Networks II
Lecture 7主要讲note 7中的优化问题，这个小伙子比那个小姑娘讲的好太多。具体内容参考Course Note 7笔记。Lecture 7 链接原创 2018-06-26 11:28:32 · 202 阅读 · 0 评论 -
cs231n'18：Lecture 8 | Deep Learning Software
这里介绍了主流的几种AI编程语言，我的计划是先从 PyTorch 入手，把几个主流的 CNN 模型自己写一遍，然后捎带着看看Caffe2，最后再用 TensorFlow 写一遍。Lecture 8链接...原创 2018-06-26 11:48:43 · 243 阅读 · 0 评论 -
cs231n'18：Lecture 9 | CNN Architectures
Lecture 9 主要是讲了几个主流的CNN的实现。这几种CNN每一个拿出来都值得好好研究一番，所以这里泛泛的讲没有什么意义。大概看看就行了。Lecture 9链接原创 2018-06-26 11:49:51 · 290 阅读 · 0 评论 -
cs231n'18： Course Note 1
Image Classification: Data-driven Approach, k-Nearest Neighbor, train/val/test splits关于KNN首先讲Nearest Neighbor，然后扩展到KNN。就是将所有的training data映射到R维空间中，然后定义某种距离度量计算方法，比如L1、L2等等。然后将要predict的data依同样方法映...原创 2018-06-28 00:28:20 · 748 阅读 · 0 评论 -
cs231n'18： Course Note 2
Linear classification: Support Vector Machine, SoftmaxLinear Classification实现image classification更常用的方法是采用score function + loss function。其中，score function将raw data映射为class score；而loss function衡量...原创 2018-06-28 00:31:24 · 456 阅读 · 0 评论 -
cs231n'18： Course Note 3
Optimization: Stochastic Gradient Descent这一节主要讲optimization的相关内容。重点在于各种grads的实现，特别是与矩阵相关的grads的实现，包括公式推导和代码实现。note 3中先给出了svm的grads，以后还会遇到softmax，conv，relu，BN等等各种grads。将会结合作业详细的给出各种grads的公式推导和代码实现。...原创 2018-06-28 00:34:46 · 681 阅读 · 0 评论 -
cs231n'18： Course Note 4
Backpropagation, IntuitionsBackprop和chain rule，就是用求解微分时的链式法则，将复杂算式的微分计算，一步步分解成小的node，然后用这些基本的node层层叠加，最后得到微分结果。通常做法是先画出computation graph，然后再stage by stage的计算grads，基本的公式是： down_dif...原创 2018-06-28 00:37:19 · 346 阅读 · 0 评论 -
cs231n'18： Course Note 5
Neural Networks Part 1: Setting up the Architecture常用的激活函数Sigmoidsigmoid函数的为 σ(x)=11+exp(−x)σ(x)=11+exp(−x)\sigma(x) = \frac{1}{1+\exp(-x)}, 值域为 (0,1)(0,1)(0, 1)， x→−∞x→−∞x \rightarrow -\in...原创 2018-06-28 00:39:17 · 193 阅读 · 0 评论 -
cs231n'18： Course Note 6
Neural Networks Part 2: Setting up the Data and the Loss数据预处理常见的数据预处理方法包括： 1. 减均值 2. 除标准差：只有在feature具有相似的标准和度量方式时才有意义 3. PCA：先减均值，再除标准差，然后找所有eigenvalue，最后将原始数据映射到最大N个eigenvalue定义的空间上 4. 白化：将...原创 2018-06-28 00:40:39 · 225 阅读 · 0 评论 -
cs231n'18： Course Note 7
Neural Networks Part 3: Learning and Evaluation梯度检验梯度的数值计算方法是： f′=df(x)dx=f(x+h)−f(x−h)2hf′=df(x)dx=f(x+h)−f(x−h)2hf^{'} = \frac{\mathrm{d} f(x)}{\mathrm{d} x} = \frac{f(x+h) - f(x-h)}{2h} 梯...原创 2018-06-28 00:41:41 · 262 阅读 · 0 评论 -
cs231n'18： Course Note 8
Putting it together: Minimal Neural Network Case Study这里讲了个例子，没什么可说的。原创 2018-06-28 00:42:41 · 262 阅读 · 0 评论 -
cs231n'18： Course Note 9
Convolutional Neural Networks: Architectures, Convolution / Pooling LayersConvolutional Neural NetworksCNN 默认要处理的对象是图片，所以输入都是形如 (H, W, 3)，这里的3表示RGB三个颜色通道。同时注意，由于是图片，所以输入中的每一个像素在整个图片中的相对位置也有了意义。C...原创 2018-06-28 00:43:32 · 269 阅读 · 0 评论 -
cs231n'18： Assignment 2 | FullyConnectedNets
Assignment 2 | FullyConnectedNetsgradient check函数的不同实现到目前为止用到了三个gradient check函数，分别是：grad_check_sparse，eval_numerical_gradient，eval_numerical_gradient_array。eval_numerical_gradientdef eval...原创 2018-06-28 00:45:27 · 2030 阅读 · 0 评论 -
cs231n'18： Assignment 2 | Batch Normalization
Assignment 2 | Batch Normalization上文吐槽BN部分讲的太烂，2018年果然更新了这一部分，slides里加了好多内容，详见Lecture 6的slides第54到61页，以及Lecture 7的slides第11到18页，这里结合着原始论文和作业，把BN及其几个变种好好总结一下。Batch NormalizationTrain前面的作业中已...原创 2018-06-27 00:47:02 · 1755 阅读 · 2 评论 -
cs231n'18： Assignment 2 | Dropout
Assignment 2 | DropoutDropout 就是在 train 的过程中随机的丢掉一部分连接，但是在 test 的时候使用全部的连接。这样做的好处是在 train 的时候引入一些随机性，在 test 的时候相当于用这些随机性进行了 ensemble。起到了 reg 的作用。 Inline Question 1: What happens if we do no...原创 2018-06-29 00:40:35 · 1291 阅读 · 0 评论 -
cs231n'18： Assignment 2 | ConvolutionalNetworks
Assignment 2 | ConvolutionalNetworksConvolution首先说说这个aside。仅仅将 filter 设置为特定的数字，就可以对图像进行某种处理，这里是将图像灰度化和在一个图层取其水平边缘，这直观的给出了一个 filter 的作用。第一层的 filter 可以直观的看出其作用，以后各层 filter 是第一层 filter 的各种线性、非线性组合，...原创 2018-06-29 00:37:55 · 468 阅读 · 0 评论 -
cs231n'18：Assignment 2 | PyTorch
Assignment 2 | PyTorch初步介绍了一下 PyTorch，准备找个教程好好学习一下，以后以 PyTorch 为主了。原创 2018-06-29 00:43:17 · 1765 阅读 · 1 评论 -
cs231n'18：Assignment 2 | TensorFlow
Assignment 2 | TensorFlow感觉 TensorFlow 比 PyTorch 难上手多了，最受不了的是建 graph 的时候没法调试，必须把一个 session 跑起来才能看到数据的形状，这岂不是背离了 Python 写到哪运行到哪里的初衷？先暂时放弃 TensorFlow，主攻 PyTorch 去了。...原创 2018-06-29 00:42:39 · 829 阅读 · 0 评论