关于深度学习在图像识别上应用的学习笔记

关于深度学习在图像识别上应用的学习笔记2

仅是关于我在深度学习基础知识的学习过程中的一些整理，有错漏之处需要大家指出，谢谢
二、深度学习的大体流程
机器学习是将输入（比如图像）映射到目标（比如标签“猫”），这一过程是通过观察许多输入和目标的示例来完成的。深度神经网络通过一系列简单的数据变换（层）来实现这种输入到目标的映射，而这些数据变换都是通过观察示例学习到的。

神经网络中每层对输入数据所做的具体操作保存在该层的权重（weight）中，其本质是一串数字。用术语来说，每层实现的变换由其权重来参数化（parameterize）。权重有时也被称为该层的参数（parameter）。在这种语境下，学习的意思是为神经网络的所有层找到一组权重值，使得该网络能够将每个示例输入与其目标正确地一一对应。但重点来了：一个深度神经网络可能包含数千万个参数。找到所有参数的正确取值可能是一项非常艰巨的任务，特别是 考虑到修改某个参数值将会影响其他所有参数的行为。（引自python深度学习 美 弗朗索瓦肖莱）

关于权重，如果还是不能理解其存在的意义的话，我们可以类比生物上的神经元的工作模式。学习高中生物我们可以知道，神经元传导兴奋是需要电位改变量达到一个阈值的，造成的电位改变超过阈值，才会沿着神经元传导到神经中枢产生兴奋。当我们的输入到达经过与权重运算后到达一定程度的时候，超过了预先设定的阈值，通过激活函数产生输出。

当然，实际的神经网络工作，并没有生物学那样神秘，简单来说，这就是一系列的运算，通过特定的模式。所谓生物神经元和它的联系，只能算作是一种类比，如若将其完全代入，反而不易理解。

一定要明确我们学习的目的，是为神经网络的所有层找到一组权重值，使得该网络能将整个示例输入与其目标正确地一一对应。

上图非常明朗地表达了一个深度神经网络的工作流程图。

现在开始解释上图的工作原理。我们让机器学会判断，就像老师教我们做题一样，首先要根据一道老师讲解过答案并且知道解题过程的例题，来深化我们的学习效果。同样，我们通过一系列“例题”，即训练集，就是知道答案的题目，来训练机器这个学生。机器比较笨拙，只会根据我们预设的值，可以理解为一些基本的解题方法，来解决难题。一开始得到的答案，一定是与真实相差甚远的，但是机器可以通过比较差距来调整自己的解题方法和解题步骤，一次一次地试错，直到最终的答案和预期值一样，或者极其接近。

预测值与实际值通过损失函数衡量损失值，通过优化器使用反向传播算法（深度学习的核心算法），从而更新权重。经过足够多次数的训练，最终损失值会降到我们满意的值。这时候，学习的过程就完成了。

深度学习从数据中进行学习时有两个基本特征：第一，通过渐进的、逐层的方式形成越来 越复杂的表示；第二，对中间这些渐进的表示共同进行学习，每一层的变化都需要同时考虑上下两层的需要。总之，这两个特征使得深度学习比先前的机器学习方法更加成功。