阶段性总结

原计划在放假前把深度学习更新完就可以了，谁知提前了将近两个月完成了任务，时间的力量很强大，每天一篇博客，一个月把深度学习总结完了，通过本次总结学到了很多东西，因为每次总结前都要查看很多资料和书籍，然后理顺思路在写，所以通过这次的总结，知识体系更具有体系化和逻辑性。

       现在理一下深度学习的有哪些内容即本人总结是按照那个思路进行总结的，首先是BP算法，然后是根据动力能量发展而来的神经网络Hopfield神经网络，根据Hopfield神经网络的缺点即存在伪吸引子引入了玻尔兹曼机，但是玻尔兹曼机的计算量太大，为了解决计算量大的问题引入了受限玻尔兹曼机详解(RBM)，通过引入这个神经网络学习了大量的背景知识即玻尔兹曼分布、模拟退火算法、马尔科夫链、MCMC采样、Gibbs采样，这些背景知识很有用，在自然语言处理和强化学习中都会用到，同时也体现了知识的之间的联系，因此遇到问题不要拖要去解决他，因为如果你不解决他，以后遇到你还是不会，还是要解决的，尽量做到今日事今日毕，不要拖拉，给自己定下目标，按天进行划分，坚决完成每天的任务，即使你很忙，制定的计划都要完成，我虽然在学校，但是我每天也要做实验，帮导师做事，只能抽时间学习和总结，我就能每天完成任务，这样每天都积累一点点，时间长了就会从量变达到质变的状态。跑题了，继续，受限玻尔兹曼机完美的解决掉了计算量大的问题，也因此受到应用，当把受限玻尔兹曼机的训练的稳定的权值用作BP的初始权值是效果更加好也因此此网络称为DBN-DNN，该网络已经广泛使用了，后面总结了 径向基神经网络RBF，在下面开始接触了图像处理方面的神经网络即卷积神经网络CNN，详细的讲解了LeNet-5网络、AlexNet 网络，总结完CNN后，开始总结了优化方面的讲解，主要有：梯度下降所面临的问题、SGD、动量(Momentum)、AdaGrad、RMSProp、Adam详解、梯度消失和激活函数ReLU、Batch Normalization（批量归一化）、正则化，参数范数惩罚L0，L1，L2，Dropout，总结完优化方面后，又引入了基于CNN的深度残差网络详解ResNet、而后又总结了该网络的变体即深度残差网络（ResNet）变体介绍，然后介绍了CNN在计算机视觉中的应用即 CNN的变体在图像分类、图像检测、目标跟踪、语义分割和实例分割的简介（附论文链接），到这里基本卷积神经网络就结束了，下面又介绍了另外一种神经网络即循环神经网络RNN详解（BPTT），循环神经网络RNN详解（LSTM）该网络适合处理时间序列的问题，尤其在自然语言处理中用处很大，因此详细的总结了RNN的来龙去脉，感触很深。以上就是深度学习的总结过程，下面谈谈总结过程的感想和下阶段的计划。

         写博客的好处真的很多，首先你自己必须得深入理解以后才知道如何写出来让别人能看懂，其次你知道哪里是难点，哪里是必须深入理解的地方，在你写的过程中你会不停的思考，你会深入挖掘第一次学习时没注意到的细节，这个很重要的，知识的连贯性就体现在这里，因为你会不停的联系你学过的知识，这样时间长了知识就具有体系化了。另外写博客相当于总结，这个也很重要，总结就意味着你已经吸收了知识或者说是内化了，不管咋说，写博客百利而无一害。下面说说下一节阶段的计划，下面就开始继续总结自然语言处理的知识，希望在放假前把自然语言处理总结完，如果也提前完成了就可以早点练习算法和学习数据库以及c++了，这里的练习算法不是实现神经网络的算法而是传统的算法如递归、迭代、分治、贪心算法、动态规划算法、分支界限算法、回溯、蒙特卡洛随算法、遗传算法、蚁群算法等，为什么要训练这些算术呢？因为通过实践这些算法可以提升自己写算法的能力，虽然现在这些算法都理解了，遇到问题也知道使用什么算法，但是一到实现就感觉很困难，因此需要针对性的训练一段时间，计划明年上半年训练自己写算法，同时也实战一下神经网络算法，当然是通过使用框架进行实现。也学习一下数据库，大家可能会觉得我这是天方夜谭，其实是完全可以实现的，去年我学习机器学习、深度学习、自然语言处理、强化学习时也感觉自己学不完，其实也就一年多的时间学完了，总结他们估计也需要三个月就可以完成了，因此别惧怕，把事情量化到日常，每天按计划完成，会发现完成他们还是很容易的，目前就这样计划，好，总结就到这里，下一阶就是自然语言处理的总结。