李宏毅机器学习Task07

写在正文前：很开心自己能将所有的任务全部完成，并非计算机专业的我通过李老师的视频和Datawhale提供的笔记，也能简单的入门机器学习，期待下一次的组队学习！

李宏毅机器学习Task07

本次的任务是对所学的一个总结，我并不想长篇大论，仅仅针对每一个任务写一些总结，在完成所有任务之后，再往前回头看看，或许有新的发现。

Task01机器学习简介

通过本次任务，我学习到了机器学习在不同情景下有着不不同的表现形式，我觉得最精华的是这一张图片

它系统的介绍了机器学习在各种情景下的应用，比如有明确数据的监督学习，其中可以完成回归预测，针对分类问题可以有深度学习。
经过后来的一些了解，清楚了目前来说深度学习要更偏向主流一些。
本次学习影响最深刻的就是老师说的目前有些公司说自己研发的东西具有人工智慧，实质上拆开来看其实是很多IF堆叠，并不智能，这其实让我想到了炉石传说中姐夫这张卡，刚开始的时候人们以为暴雪用的人工智能，实际上体会之后就知道他是简单的if堆叠，很愚蠢。

Task02回归问题

本次任务重点关注的回归问题，老师用的一个预测宝可梦CP值的例子，虽然我仅仅只是对宝可梦有些耳闻，但是可以感觉到老师例子的生动形象，这里我讲一个当时我发现的问题：我在调大学习率之后，出现了这种情况

打×的位置是最佳点，显然，我们并没有让结果向最佳值推进。当时这个问题困扰了我，后来其实我明白了，学习率是一个很重要的值，设置大了之后也许永远找不到最佳位置，可以结合一个简单的函数来理解。

Task03误差与梯度下降

误差的两个来源：偏差与方差

这张图能够很好的解释它两：

偏差指数据总体上与结果的偏离程度，而方差指的是数据的离散程度，很多时候，这两是一对矛盾，设计的时候需要统筹考虑。

梯度下降

本次任务深入的谈了下的梯度下降。
影响比较深的就是梯度下降的数学原理：

这里用到的泰勒公式，举例子是用的二元的函数，其实这里并不需要梯度下降就能找到最小，但是一旦参数多了，我们就只得投靠梯度下降的方法。

Task04深度学习简介

本次任务简单的介绍了深度学习，这部分是当下最火的内容了，图像识别，语音识别什么的，用的十分火热。我这里印象比较深的是反向传播机制，这里再度复习以下：

反向传播$\frac{\partial l}{\partial z}$部分

这一部分的计算就比较复杂，我个人感觉里面应该涉及到一些递归调用的知识。再次利用链式法则
$$\frac{\partial l}{\partial z}={\sigma }^{\prime }(z)[w_3\frac{\partial l}{\partial z^{\prime }}+w_4\frac{\partial l}{\partial z^{\prime \prime }}]$$
可以从另外一个角度看这个事情，现在有另外一个神经元，把forward的过程逆向过来,其中${\sigma }^{\prime }(z)$是常数，因为它在向前传播的时候就已经确定了。依据位置不同，我们再次分类讨论。

• 输出层
  假设$\frac{\partial l}{\partial z^{\prime }}$ 和$\frac{\partial l}{\partial z^{\prime \prime }}$ 是最后一层的隐藏层 也就是就是y1与y2是输出值，那么直接计算就能得出结果.
• 不为输出层
  如果不为输出层，那么就要继续利用链式法则求导下去，最后还是会摸到最后一输出层数据。
  
  反向传播是从反方向计算损失函数的偏微分值，接着我们就可以得到神经网络中所有的参数，然后用梯度下降就可以不断更新，得到损失最小的函数。

Task05梯度下降的一些技巧

其实本次任务我觉得以动量的方式复合之前的梯度，作为下降的方向，这种方法我觉得十分巧妙：
动量法模拟物理上真实的小球遇到极值点和鞍值点的情况，由于小球有惯性，小球会冲过上述情况的两个点。于是我们在更新参数的时候不仅考虑梯度的方向也考虑上次移动的方向，这两个方向合成的结果来寻找损失函数的下一个低点，这个方法在考虑更新方向的时候，考虑的不仅仅是这一次的方向，而是所有梯度方向的总和。

Task06卷积神经网络

这一部分的内容给我造成了很大的困难，尤其是深度学习的工作机理这部分我觉得太过抽象难以理解。
针对影像识别问题的三个特点：
特征区域小，特征位置不影响识别，二次采样不影响结果，
卷积网络即是针对这三个特点，利用滤波器，将最复杂的完全连接做了一些简化。
这一部分内容比较复杂，我也还没完全消化，暂时不过多展开。