CS231a I winter

Lecture 1

• 课程安排：CS131/(基础课程)，CS231a/(基础视觉：语义分割、目标检测、场景识别、3D，更偏向应用和基础讨论)，CS231n/(专门领域，针对性视觉识别，与a有一定重叠)，CS224n…
• 历史简介：。。。

Lecture2 image classification pipeline

• python基础教程：http://cs231n.github.io/python-numpy-tutorial/
• 最邻近：训练/记住所有数据的特征，测试/寻找最详尽的训练数据 （L1距离）
• KNN：majority vote from K closest point
• L1泛化：点到L1的距离取决于坐标系方向，如果feature有特殊的重要意义对分类，采用L1
• L2泛化：点到L2的距离相同，如果只是普通的向量，建议采用L2，更自然
• 交叉验证：traindata分为5个不同的block，随机选取block进行validation better！
• 深度学习：数据同分布，遇到这个shift问题，要用随机shuffle的方式
• linear classification: 深度网络一种基本构建器

Lecture3 Loss Functions and optimization

• 损失函数：hingloss函数 主要是用于多类别的svm
  计算公式
• 正则化：避免overfiting的问题，不过度在意训练集的精度，要在意的是test精度，occam’s razor（L1 regularization, L2 regularization, elastic net（l1+l2）, max norm regularization, dropout, Fancier/Batch norm, stochastic depth ）
  cross-entropy loss（softmax）首先exp然后normalize然后再-log
• 优化器

lecture 4 backpropagation and neural network