第二篇

在6月份时开始在coursera上学习deeplearning ，这个网站和课程是已经在读研的同学推荐给我的，用了以后感觉确实很好，讲得很清楚，学的也很透彻，每一周的程序练习也特别有方向，6月份因为很放松，就一直零零散散的学， 终于在7月份的时候开始正式学习，效率很高，一整天一般都能有6个小时左右在学习上，笔记我都用surface写在了onenote上，以下是成果：

学起来还是非常有成就感的，推荐大家也买个能用笔的平板，记笔记真的很方便，我自己用的新买的sp6 ，我觉得ipad也很好，sp6的优势就是可以简单的敲一些代码，在学习阶段还是很有用的。

深度学习刚开始学基础的时候有点晦涩难懂，就是那种不太理解原理，特别是对矩阵求导这种就很抽象的感觉，但是真的花时间理解懂透彻了，真的就突然觉得这些发展这门学科的人真的好厉害，还记得最开始学的时候，很不理解为什么要用relu函数，感觉这难道和线性函数差别很大吗，一直不理解，仔细思考了一个上午，才突然明白这个函数的用意，是的，他真的就是一个很简单的函数，但是它不同于线性函数，当多层网络连接起来时，在多个层次使用relu函数，他可以组合成任何模样的非线性函数，感觉他们真的好厉害，能想到这样的用法，提高了太多效率了。

之后开始学习对超参数的应用，了解高偏差和高方差时不同的调整方法，例如高方差时所要用的L2正则化，随即丢弃法等等。还有归一化和梯度检查的方法，

再然后，学习了指数加权平均，动量梯度下降算法以及RMSprop算法，还有将动量和RMSprop结合起来的Adam算法。BN算法也相当重要，详见onenote

机器学习那门课，主要是在说对团队任务目标的选择，指标应该是单一的，这样才不会混乱，不能选择多项指标作为最优目标，应当选择一个目标作为最优，而其他的目标只能作为限制。之后讨论了迁移学习和多任务，迁移学习（transfer learning）非常重要，之后也会经常用到。

重点来了，重要课程之一CNN开始了。先从简单的介绍原理开始，之后开始讲很多不同的model，包括resnet（用于大型网络，可实现非常深层的网络152层）。inception network。1*1卷积的利用。并开始教我利用tensorflow+keras进行编程。那时候同学一直在跟我推荐pytorch之类的。之后的课程中进行了目标检测的学习，先是介绍了特征检测，然后是滑动检测，再然后是真正要学的YOLO算法。其中包括全连接转换成卷积的思想，anchor box实现多个目标中心出现在同一网格中怎么办，以及通过交并比IOU来排除多余的选中框。

CNN的最后一周讲解了人脸识别和图像风格的融合。人脸识别先介绍了siamese network，然后利用triplet loss或者二元法。课后程序练习运用triplet loss完成了对应id的人脸识别，和直接从库中一个一个对比实现的人脸识别。之后讲解的图像风格融合非常有意思，这个算法是把一个图像转换成你想要的风格，比如转换成梵高的绘画风格。仔细讲解了浅层网络和深层网络中每一个filter所过滤的不同东西。最后通过一个复杂的loss function完成对新图像的梯度下降，来得到想要的图像。

暂时就学习了这么多的知识，最后还有一门课程是有关nlp的，伴随着这门课程我也正式开始写随笔博客。希望能够坚持下去吧。