cs231n_全连接神经网络

1. 在什么空间下解决分类问题？

可以通过一些传统的方法，提取图像的特征，然后在新的特征空间下，进行分类的任务。

1. color histogram，不考虑spatial信息

2. hog，histogram of orient gradient，考虑spatial 

3. bag of visual words

可以设计并集合各种各样的特征

2. 机器学习的图像分类任务pipeline：

设计特征提取器，并提取特征

特征压缩处理

线性的SVM机器学习

 问题：

        特征提取，比较复杂，需要经验。

        只有后续的线性分类器可以训练，没有充分利用数据。

如下是早期机器学习和当前end to end的深度学习的对比，

3. 神经网络

mlp/全连接

很多层的mlp

新增激活函数

线性层的叠加，还是线性的，表达的空间还是线性不够丰富。

relu,sigmoid, tanh,silu etc

 带着激活层的深度网络，可以模拟各种各样的函数。