cs231n 课程作业 Assignment 1

课程资料

趁着在学校的时间，跟着 cs231n 的课程做了一下作业，感觉收获特别大，现在汇总在博客里。下面是一些官方的课程资料：

网页	备注
课程主页	主页课程介绍，浏览器也可以跑深度学习
课程官方笔记	貌似要 fq 软件支持
Syllabus	课件、视频、课程安排表

还有一些其他有用的非官方资料：

网页	备注
课程中文翻译	智能单元公众号提供的翻译
课程视频	网易云课堂提供
作业参考	来自 github@lightaime 的代码

我的作业代码请参考 github@Halfish/cs231n

Assignment 1

完成 这里 的课程笔记中 Module 1: Neural Networks 的阅读。作业要求见 Assignment #1: Image Classification, kNN, SVM, Softmax, Neural Network，主要需要完成 kNN，SVM，Softmax分类器，还有一个两层的神经网络分类器的实现。

kNN

kNN 应该算法最简单的分类器了，读完课程文档 Image Classification: Data-driven Approach, k-Nearest Neighbor, train/val/test splits
和完成 knn.ipynb 的代码即可。

课程设置的很合理，需要依次完成两层循环、一层循环，最后完全用 numpy 的矩阵操作来实现逻辑。有点麻烦，但是都是因为对 numpy 不太熟悉，逻辑上其实没有什么难点。函数 compute_distances_no_loops 的三行代码 有点一时难以想到，不过看了别人代码也就很好理解了。

SVM

支持向量机和后面的 Softmax 分类器都是线性模型，这里只是损失函数不同罢了。阅读文档 Linear classification: Support Vector Machine, Softmax 大概就知道什么线性模型了。

对于 SVM 而言，分类器输入样本 $x_i$ 后，对第 $j$ 个 类别的评分是：

$$s_j = f(x_i, W)_j$$ 如果是 Multiclass SVM loss，具体对第 $i$ 个样本的损失为： $$L_i = \sum_{j \ne y_i} \max(0, s_j - s_{y_i} + \Delta)$$ 当然，损失应该还包括正则化项，比较简单就略过了。

---

反向传播就比较麻烦一点，因为要用随机梯度下降的迭代方法，所以要计算梯度。读完文档 Optimization: Stochastic Gradient Descent，可以找到 SVM 的梯度是：

⎧⎩⎨⎪⎪⎪⎪⎪⎪∇wyiLi=∇w