神经网络与支持向量机怎么联合在一起完成分类任务

以简单的表情识别或者猫狗分类为例，我们可以设计一个简单的神经网络来实现分类，还有的论文是把svm与cnn联合在一起，我很好奇是怎么训练的。
在这里我写下我的粗鄙的想法，可能会有错，如果有错，希望以后能学到并及时改正，首先神经网络的实现是使用torch或者tf手写的，我们要写出一个完整的分类网络，如lenet5。然后按照正常的方式来训练这个网络，等网络训练的达到一定的精度，再把网络的最后一个全连接层去掉，这样网络输出的不是类别，而是一个向量。把去掉全连接层的位置换成sklearn写的svm分类器，下一步只需要训练支持向量机。等精度在达到一定高度，就可以停止训练了，然后就可以识别其他图片。

查了资料也想了一个小时了，希望是对的。