小白的学习之路-Datawhale X 李宏毅苹果书AI夏令营 打卡第一次

作为一个ai与csdn小白，第二次进行打卡，无比激动和紧张，不知道该说些什么，如有任何问题望各位大佬海涵，多多指导，我虚心接受各位的建议。

学习课程内容：

        本次的学习是以苹果书（《深度学习详解》）为教程展开的，本书也是以github上的开源项目为基础孵化的。

        链接我放在下面了（没有恶意只为了记录一下，并且方便后面的学习，如有侵权联系我删除）

开源教程还获得了李宏毅老师的推荐~

链接指路：https://github.com/datawhalechina/leedl-tutorial（欢迎大家star~）

 学习内容

        因为报的是进阶班，课程要求从局部极小值这块开始，我之前结果以感知机为基础讲解相关概念的课程就以为这次学习不会遇到很大的难度，没想到一开始的数学推理就让我这个高数平均70多分，没学认真学习过线性代数的人犯了难，一边听课一边飞速回忆之前学习过的高数知识。

        简单说说我学了点啥吧。

        

一开始讲了梯度损失（gradient is close to zero）问题会影响训练效果，或者说在训练过程中还想要更低的loss，就需要解决这个问题。

        

        但是出现梯度为零的错误情况又分为两种（应该没有算真正找到的最小值点，不过不知道复杂一些的模型会不有最小值点，小白疑惑）：局部最小值和鞍点

                为了能够更好的处理遇到的问题，需要能够区分出来是哪一种情况

        后面就到了让我有点头痛的数学推理部分了

        

                此处应该是使用的泰勒展开，后面的两个部分分别含有一个向量和一个矩阵，

因为是在critical point所以第二项为零（应该是因为梯度为零，所以g为零的原因）

        

        然后我们就可以通过最后一项的情况来判断所在位置，如果周围的值都比现在的值大，处在最低点，反之在最高点 ；如果有时大有时小则处在鞍部。然后通过判断H（听弹幕说好像叫海思矩阵，应该是线性代数的知识）的大小来判断所处位置的情况。       

        老师又在视频里举了一个很简单的例子来说明这件事

        我目前就学到这里了，大家都加油！