机器学习的发展和硬件发展的关系

1.机器学习的分类

众所周知，机器学习其实就是让电脑来做点人事。实际上这个可以分成两类，一个是kernel（也有人将其称为SVM）、一个是神经网络（我这里将深层神经网络和浅层神经网络都放在这里了）。我个人理解这两个东西的区别主要是有下面两个：
1.kernel也就是核方法是固定的一种方法，不用有太多的操作，也不用灵活设计，就可以产生很好的效果。但是每次应用于新的内容的时候，这需要重新再进行计算。需要的额外运算很大。
深度神经网络我们则需要我们使用梯度下降的方法，不断进行计算，来优化我们的模型，当我们需要应用于新的内容的时候，我们则仅仅需要把这个模型拿过来调用就行了，需要的运算很小。
2.kernel这个东西对调参数不怎么敏感，而深度学习则对于调参比较敏感。那么有人说了，这个调参敏感不是更好吗？我看其实不一定，我们用浅层神经网络和核方法比较，浅层神经网络和核方法比起来效果并不好。得需要调参才能达到类似的效果。所以这个调参敏感其实也是一个方法本身还有不足的表现。

2.机器学习的发展过程

2.1大致阶段

大约大家普遍认为：
1990—2000，是神经网络的10年（这个时期是浅层神经网络）
2000—2012，是kernel方法的10年（AlexNet的提出终结了这一切）
2012—今，又回到神经网络的天地。（这个时期是深层神经网络）

2.2理解原因

1.一开始神经网络的兴盛应该说其实是梯度下降方法立的功。因为在这一时期，硬件的条件有限，所以不能很好的支持kernel方法的进行。其实并不是神经网络本身的发力。
2.随着硬件的发展，计算能力的提升，浅层神经网络的不足逐渐展现出来，所以这一阶段kernel的优势逐渐展现。浅层神经网络逐渐退出历史舞台。
3.随着计算能力的进一步发展，逐渐可以支持我们进行深度神经网络的优化，神经网络的优势真正的发力，所以取代了原有的kernel方法。

3.未来的事

随着计算能力的进一步提升，很有可能有新的东西发展起来。
但是目前来看，深度神经网络还要继续发展一段时间。我们参考上一次神经网络高度发达的时期，我们不难发现，这种阶段很多人都会进行对应计算设备的开发。DPU这种单指令多组数据处理的计算设备的大热，其实也反映了业界对于这种可以提升深度神经网络运算效果的设备的期待。
所以这个阶段FPGA的的开发很有可能再次大热。