明天即将研究生开题答辩,旁边机器还在跑着程序验证最新的网络结构,在笔记本上敲打心情日记。接到深度学习目标识别的题目真是阴差阳错,今年4月份alphago获胜的时候,王老师表示很关心这个方向,希望我们也做一个“狗”出来。我们都把它当玩笑了,事后,我尝试接触神经网络的知识,就想轻碰这个坑,拿它预测个波形就行了,也没想到日后会成为研究方向。
正直同学们都很关注机器学习,无意间女票跟我提了coursera吴恩达的机器学习教程。我就注册了个号,跟着视频学习,在神经网络这块学的比较认真。同时,结合着李航的《统计学习方法》从理论上辅助理解。看完神经网络部分后,我没有往下看支持向量机的部分,就做了神经网络识别mnist的作业,并打算做fpga实现,因为实验室本来是以硬件为主,打算做个硬件加速实现神经网络。后来只做了最后的test部分,并发了篇水文。
再到后来,王老师知道我在研究神经网络相关的东西,扔给我一本《深度学习方法及应用》。翻了一遍完全看不懂,发现坑很深。于是在网上找到了standford的ufldl教程,又开始学习和深度学习相关的知识,从softmax开始。在这个过程中,通过作业,基本了解了卷积神经网络的模型,还做了相关的调参实验。
做了简单的调试实验后,模型只局限于4层,而且不好扩展。恰好是matlab的作业题,故搜到matlab的深度学习工具,deeplearningtool。把框架代码阅读了一遍,其中BP那部分至少读了n遍。那是个6层的神经网络,一个输入,两组conv-pool,一层softmax。又做了若干调参实验。后来又自行添加了较复杂的结构,加了全连接层&#x