cs231n的课程以及作业都完成的差不多了,后续的课程更多的涉及到卷积神经网络的各个子方向了,比如语义分割、目标检测、定位、可视化、迁移学习、模型压缩等等。assignment3有涉及到这些中的一部分,但需要深入了解的话还是得看论文了。所以在看论文前把之前已学的知识,笔记和作业代码一起做个整理。
博客里主要是自己在这个过程中做的笔记,其中很多直接贴的知乎上的翻译版note,作业放在github上https://github.com/PanXiebit/cs231n.git
01.Python Numpy Tutorial
- dict中元素的访问
- lambda\ reduce\enumerate的使用
- element wise\dot()\multiply的区别
- broadcasting 广播机制,这个很重要
- scipy 科学计算库,这里主要用到的是图像处理
- matplotlib
02.线性分类器
- 线性分类器的原理及解释
- 两种损失函数SVM和softmax
- 范式正则化
03.最优化-求梯度
- 损失函数可视化
- 有限插值法求梯度
- 微分法求梯度:以softmax为例进行了推导
04.logistic回归以及反向传播
05.神经网络的结构
- 神经网络的生物理解
- 常用激活函数sigmoid\relu\tanh