为之则易，不为则难

在利用深度学习模型解决有监督问题时，比如分类、回归、去噪等，我们一般的思路如下： 信息流forward propagation，直到输出端； 定义损失函数L(x, y | theta)； 误差信号back propagation。采用数学理论中的“链式法则”，求L(x, y | theta)关于参数theta的梯度； 利用最优化方法（比如随机梯度下降法），进行参数更新； 重复步骤3...

这两天，我翻开沉压已久的学习笔记，看到了当初总结的SVM学习心得，为了避免不小心弄丢了，就在这里重新记录一下吧，希望对初学机器学习理论并热爱公式推导的朋友有所帮助。SVM作为一种经典的机器学习算法，在处理“小样本”问题时效果非常显著。本文主要分成三大部分，第一部分介绍一些基本知识，这些知识在SVM的公式推导过程中会用到，所以最先介绍。第二部分针对数据集线性可分的情况，推导SVM的原问题和对偶问题表达

文章目录1 SIFT（局部特征）1.1 特征点检测1.2 特征点描述1.3 特征点匹配2 HOG（全局特征）2.1 特征描述子2.2 HOG特征提取步骤计算机视觉相关的任务都需要先提取特征，然后基于所提取的特征做分类、分割、视觉问答等任务。现在主流的提取特征的方法，都是采用神经网络自动提取对任务起作用的特征，使用人工设计的特征已经成为过去时了。然而，笔者认为，对于每一个算法，找准它的细分领域，...

1 如何计算cnn中某一层的感受野大小？回答：对于cnn中的每一个神经元，它都表征了输入图像的局部区域的信息，“感受野”指的是某一个神经元对应到输入图像的尺寸。我们都知道，越深的网络层对应的感受野越大，比如我们想知道第n层的神经元在输入图像上的感受野，那么不妨把第iii层作为“伪输入图像”，并且记该神经元在第iii层的感受野大小为RFi，其中i<=1<=nRF_{...