CS231a I winter
Lecture 1
- 课程安排:CS131/(基础课程),CS231a/(基础视觉:语义分割、目标检测、场景识别、3D,更偏向应用和基础讨论),CS231n/(专门领域,针对性视觉识别,与a有一定重叠),CS224n…
- 历史简介:。。。
Lecture2 image classification pipeline
- python基础教程:http://cs231n.github.io/python-numpy-tutorial/
- 最邻近:训练/记住所有数据的特征,测试/寻找最详尽的训练数据 (L1距离)
- KNN:majority vote from K closest point
- L1泛化:点到L1的距离取决于坐标系方向,如果feature有特殊的重要意义对分类,采用L1
- L2泛化:点到L2的距离相同,如果只是普通的向量,建议采用L2,更自然
- 交叉验证:traindata分为5个不同的block,随机选取block进行validation better!
- 深度学习:数据同分布,遇到这个shift问题,要用随机shuffle的方式
- linear classification: 深度网络一种基本构建器
Lecture3 Loss Functions and optimization
- 损失函数:hingloss函数 主要是用于多类别的svm
计算公式 - 正则化:避免overfiting的问题,不过度在意训练集的精度,要在意的是test精度,occam’s razor(L1 regularization, L2 regularization, elastic net(l1+l2), max norm regularization, dropout, Fancier/Batch norm, stochastic depth )
cross-entropy loss(softmax)首先exp然后normalize然后再-log - 优化器