词袋模型（Bag of Features，BOF）

Bag of Features（BOF）

　　对于程序而言这个人就是一堆像素嘛，让它直接找的话它只能一个个像素的去比较然后返回最接近的了（近邻算法）。但是现实中物体的形状颜色会发生变化，如果手头又只有这一张照片，直接去找的速度和正确率实在太低。
　　有研究者想到，可以把这个人的照片拆成许多小块，然后一块一块的比较(方法叫Bag of Features)。最后哪一块区域相似的块数最多就把那片区域标出来。这种做法的好处在于即使识别一个小块出了问题，还有其他的小块能作为识别的依据，发生错误的风险比之前大大降低了。
　　
　　这种做法最大的缺点就是它还是把一个小块看成一坨像素然后按照像素的数值去比较，之前提到的改变光照改变形状导致物体无法被识别的问题根本上并没有得到解决。
　　用卷积神经网络做的物体识别器其实原理和bag of features差不了太多，只是把有用的特征(feature)都装到了神经网络里了。

词袋模型

　　词袋模型最初产生于自然语言处理领域，通过建模文档中单词出现的频率来对文档进行描述与表达。04年首次将词袋的概念引入计算机视觉领域，由此大量的研究工作集中开始于词袋模型的研究，并逐渐形成了由特征提取、特征聚类、特征编码、特征汇聚和分类器分类４部分组成的标准目标分类框架．词袋模型中大量的工作集中在特征编码和特征汇聚方面。

BOF与DL

　　词袋模型在较小数据集上有一定优势，深度学习模型在较大数据库上取得更好的效果。
　　发现两者其实是极为相似的．在词袋模型中，对底层特征进行特征编码的过程，实际上近似等价于卷积神经网络中的卷积层，而汇聚层所进行的操作也与词袋模型中的汇聚操作一样。不同之处在于，词袋模型实际上相当于只包含了一个卷积层和一个汇聚层，且模型采用无监督方式进行特征表达学习，而卷积神经网络则包含了更多层的简单、复杂细胞，可以进行更为复杂的特征变换，并且其学习过程有监督过程。