2018年06月_FortiLZ

原创 Stanford cs231n'18 课程及作业详细解读

Stanford

2018-06-26 11:03:19 4313

原创 ResNet 的 PyTorch 实现

ResNet 的文章有两篇：Deep Residual Learning for Image Recognition 和 Identity Mappings in Deep Residual Networks。这里仅仅关注三个问题：ResNet 解决了机器学习中的什么问题；ResNet 的代码怎么写的；ResNet 怎么用。至于文章中的性能研究和试验结果，就不做讨论了。Deep Resid...

2018-06-29 06:29:48 11784 1

原创 cs231n'18：Assignment 2 | PyTorch

Assignment 2 | PyTorch初步介绍了一下 PyTorch，准备找个教程好好学习一下，以后以 PyTorch 为主了。

2018-06-29 00:43:17 1781 1

原创 cs231n'18：Assignment 2 | TensorFlow

Assignment 2 | TensorFlow感觉 TensorFlow 比 PyTorch 难上手多了，最受不了的是建 graph 的时候没法调试，必须把一个 session 跑起来才能看到数据的形状，这岂不是背离了 Python 写到哪运行到哪里的初衷？先暂时放弃 TensorFlow，主攻 PyTorch 去了。...

2018-06-29 00:42:39 840

原创 cs231n'18： Assignment 2 | Dropout

Assignment 2 | DropoutDropout 就是在 train 的过程中随机的丢掉一部分连接，但是在 test 的时候使用全部的连接。这样做的好处是在 train 的时候引入一些随机性，在 test 的时候相当于用这些随机性进行了 ensemble。起到了 reg 的作用。 Inline Question 1: What happens if we do no...

2018-06-29 00:40:35 1310

原创 cs231n'18： Assignment 2 | ConvolutionalNetworks

Assignment 2 | ConvolutionalNetworksConvolution首先说说这个aside。仅仅将 filter 设置为特定的数字，就可以对图像进行某种处理，这里是将图像灰度化和在一个图层取其水平边缘，这直观的给出了一个 filter 的作用。第一层的 filter 可以直观的看出其作用，以后各层 filter 是第一层 filter 的各种线性、非线性组合，...

2018-06-29 00:37:55 484

原创 cs231n'18： Assignment 2 | FullyConnectedNets

Assignment 2 | FullyConnectedNetsgradient check函数的不同实现到目前为止用到了三个gradient check函数，分别是：grad_check_sparse，eval_numerical_gradient，eval_numerical_gradient_array。eval_numerical_gradientdef eval...

2018-06-28 00:45:27 2049

原创 cs231n'18： Course Note 9

Convolutional Neural Networks: Architectures, Convolution / Pooling LayersConvolutional Neural NetworksCNN 默认要处理的对象是图片，所以输入都是形如 (H, W, 3)，这里的3表示RGB三个颜色通道。同时注意，由于是图片，所以输入中的每一个像素在整个图片中的相对位置也有了意义。C...

2018-06-28 00:43:32 288

原创 cs231n'18： Course Note 8

Putting it together: Minimal Neural Network Case Study这里讲了个例子，没什么可说的。

2018-06-28 00:42:41 279

原创 cs231n'18： Course Note 7

Neural Networks Part 3: Learning and Evaluation梯度检验梯度的数值计算方法是： f′=df(x)dx=f(x+h)−f(x−h)2hf′=df(x)dx=f(x+h)−f(x−h)2hf^{'} = \frac{\mathrm{d} f(x)}{\mathrm{d} x} = \frac{f(x+h) - f(x-h)}{2h} 梯...

2018-06-28 00:41:41 277

原创 cs231n'18： Course Note 6

Neural Networks Part 2: Setting up the Data and the Loss数据预处理常见的数据预处理方法包括： 1. 减均值 2. 除标准差：只有在feature具有相似的标准和度量方式时才有意义 3. PCA：先减均值，再除标准差，然后找所有eigenvalue，最后将原始数据映射到最大N个eigenvalue定义的空间上 4. 白化：将...

2018-06-28 00:40:39 240

原创 cs231n'18： Course Note 5

Neural Networks Part 1: Setting up the Architecture常用的激活函数Sigmoidsigmoid函数的为 σ(x)=11+exp(−x)σ(x)=11+exp⁡(−x)\sigma(x) = \frac{1}{1+\exp(-x)}, 值域为 (0,1)(0,1)(0, 1)， x→−∞x→−∞x \rightarrow -\in...

2018-06-28 00:39:17 207

原创 cs231n'18： Course Note 4

Backpropagation, IntuitionsBackprop和chain rule，就是用求解微分时的链式法则，将复杂算式的微分计算，一步步分解成小的node，然后用这些基本的node层层叠加，最后得到微分结果。通常做法是先画出computation graph，然后再stage by stage的计算grads，基本的公式是： down_dif...

2018-06-28 00:37:19 365

原创 cs231n'18： Course Note 3

Optimization: Stochastic Gradient Descent这一节主要讲optimization的相关内容。重点在于各种grads的实现，特别是与矩阵相关的grads的实现，包括公式推导和代码实现。note 3中先给出了svm的grads，以后还会遇到softmax，conv，relu，BN等等各种grads。将会结合作业详细的给出各种grads的公式推导和代码实现。...

2018-06-28 00:34:46 697

原创 cs231n'18： Course Note 2

Linear classification: Support Vector Machine, SoftmaxLinear Classification实现image classification更常用的方法是采用score function + loss function。其中，score function将raw data映射为class score；而loss function衡量...

2018-06-28 00:31:24 473

原创 cs231n'18： Course Note 1

Image Classification: Data-driven Approach, k-Nearest Neighbor, train/val/test splits关于KNN首先讲Nearest Neighbor，然后扩展到KNN。就是将所有的training data映射到R维空间中，然后定义某种距离度量计算方法，比如L1、L2等等。然后将要predict的data依同样方法映...

2018-06-28 00:28:20 759

原创 cs231n'18： Assignment 2 | Batch Normalization

Assignment 2 | Batch Normalization上文吐槽BN部分讲的太烂，2018年果然更新了这一部分，slides里加了好多内容，详见Lecture 6的slides第54到61页，以及Lecture 7的slides第11到18页，这里结合着原始论文和作业，把BN及其几个变种好好总结一下。Batch NormalizationTrain前面的作业中已...

2018-06-27 00:47:02 1768 2

原创 cs231n'18：Lecture 9 | CNN Architectures

Lecture 9 主要是讲了几个主流的CNN的实现。这几种CNN每一个拿出来都值得好好研究一番，所以这里泛泛的讲没有什么意义。大概看看就行了。Lecture 9链接

2018-06-26 11:49:51 303

原创 cs231n'18：Lecture 8 | Deep Learning Software

这里介绍了主流的几种AI编程语言，我的计划是先从 PyTorch 入手，把几个主流的 CNN 模型自己写一遍，然后捎带着看看Caffe2，最后再用 TensorFlow 写一遍。Lecture 8链接...

2018-06-26 11:48:43 253

原创 cs231n'18：Lecture 7 | Training Neural Networks II

Lecture 7主要讲note 7中的优化问题，这个小伙子比那个小姑娘讲的好太多。具体内容参考Course Note 7笔记。Lecture 7 链接

2018-06-26 11:28:32 222

原创 cs231n'18：Lecture 6 | Training Neural Networks I

这一节讲Course Note 5/6和7中的一部分。这是这门课中讲的最烂的一节，内容杂乱，没有重点。既然ReLU是最常用的，为什么又拿tanh举例子；BN这么重要的问题没讲明白，下面同学提了一大堆问题。看看Course Note 5笔记，Course Note 6笔记，Course Note 7笔记就行了，也没多少东西。重点还是作业里代码怎么实现的。update：Course Note和视频都是...

2018-06-26 11:27:13 237

原创 cs231n'18：Lecture 5 | Convolutional Neural Networks

Lecture 5 讲的是 Course Note 9 里面的内容，建议先听 Lecture 6和7，然后Lecture 5和9一起听。Lecture 5 链接

2018-06-26 11:25:10 198

原创 cs231n'18：Lecture 4 | Introduction to Neural Networks

第四节课前半部分讲Course Note 4的backprop，这一部分是这门课的重点，后面要写许多与此相关的代码，到时会一个一个的详细说。具体见Course Note 4笔记以及里面的作业。后面半部分讲与brain相关的一些知识，听听就行了。Lecture 4 链接...

2018-06-26 11:23:42 235

原创 cs231n'18：Lecture 3 | Loss Functions and Optimization

Lecture 3讲Course Note 2和Course Note 3里面的内容.前一部分讲SVM和Softmax loss function的计算。要点请参考Course Note 2的笔记。听完这一节部分可以去做SVM和Softmax里面有关loss的作业，后一部分讲了一些optimization和svm grads的计算，参考Course Note 3的笔记。作业要做完svm和soft...

2018-06-26 11:21:02 240

原创 cs231n'18：Lecture 2 | Image Classification Pipeline

Lecture 2的前半部分讲Course Note 1里面的内容，包括KNN和Validation。要点请参考Course Note 1的笔记。后半部分给Course Note 2里面的Linear Classification开个头。作业可以做knn。Lecture 2 链接...

2018-06-26 11:18:02 359

原创 cs231n'18：Lecture 1 | Introduction to Convolutional Neural Networks for Visual Recognition

一如既往，第一节课都是侃侃大山，没什么好说的。Lecture 1

2018-06-26 11:13:32 458

FortiLZ的博客