CS231n课程笔记3.1：线性分类器（SVM，softmax）的误差函数、正则化

CS231n简介

详见 CS231n课程笔记1：Introduction。
注：斜体字用于注明作者自己的思考，正确性未经过验证，欢迎指教。

课程笔记

这篇是线性分类器的第二部分，回忆线性分类器的线性体现在score的获得，即score = Wx+b，然后predict_label = argmax(score)。具体细节以及关于线性分类器的解释请参考CS231n课程笔记2.2：线性分类器。
如果不考虑图像领域的应用背景，线性分类器可以看做是对于高维空间进行切分的超平面，如何评价超平面的好坏，进而找出在该评价指标中最好的超平面（即最好的W与b），则是本节所涉及内容。
Lecture中给出个很好的实时网站http://vision.stanford.edu/teaching/cs231n/linear-classify-demo/，可以用于测试不同的Loss, Regularization所能得到的不同结果。

1. 误差函数Loss Function

1.1. Hinge Loss Function

Hinge Loss是