感悟记录：理论，算法与工程

你是做什么的，做理论的，做算法的还是做工程的？现在很多人已经喜欢把一个人划分在不同的区域，就比如这个理论，算法与工程。但是，这何尝不是一个误区呢？

以着做理论的名义，从来不考虑工程实现的可能性，一直剑走偏锋，过于理想；以着做工程的名义，不去研究算法的原理，会用就行了。仔细想想，这种分类似乎就是为人们的懒惰找借口。直到真正需要的时候，“书到用时方恨少”，觉得自己欠缺的太多。

个人做的东西比较偏工程，刚刚在看支持向量机（SVM），又去看到拉格朗日乘子法和KKT条件。其实，研究生第一学期就学过最优化，本应该对优化有深入理解的。但是老师就是自己的导师，都鼓励重科研，轻教学，应付考试就行，自己也没有认真思考很多问题。这学期学习机器学习，发现机器学习的一半内容就是最优化。SVM里面的拉格朗日乘子法，神经网络里面的梯度下降法都是最优化里面的内容。自己当初没认真思考，看到很多东西都是一片空白。想想这才是真的浪费了时间。

看到了KKT的相关内容，有的是直观解释，有的是公式推导。看完直观解释之后，还是想看看公式推导，想体会一下深层次的认识一个算法的感觉。应该是太多的时候以工程之名，自己不去推导公式，很多时候只想东拼西凑完成项目，直到实在拼不出来，才幡然悔悟，需要静下心，好好学习一下。希望以后，不再觉得理论高不可攀，避而远之，多耐心精心做一些推导。