深度学习轻松学（一）

此系列的参考书籍为：《深度学习轻松学–核心算法与视觉实践》冯超·著

机器学习与深度学习的概念

机器学习的概念

特征： 比方说，一朵花的大小可以用半径来描述，那么这个半径就是一个可以被计算机使用的描述信息，这个信息在机器学习中被称为特征。

One-Hot编码： 假设一共有N个所要描述的事物，所以定义一个N维的空间，这个空间的每一维只能取0或1，空间中的每一维代表一个事物，于是对于每个事物都可以在空间中找到位置，也就是说每个词语都对应一个向量，这个向量中该事物所对应的位置为1，其余为0.

模型： 以容易获得的特征为输入，期望得到的特征作为输出所确定的中间的“映射”，这个映射称为模型。也就是说，模型其实是用来特征描述之间的转换的，将容易获得的比较直观的特征转换为另一种相对抽象且不易直接获得的描述，他们具有很强的相关性因为两者本质上描述了同一个事物。

机器学习的定义： 从数据中获得决策（预测）函数使得机器可以根据数据进行自动学习，通过算法使得机器能从大量历史数据中学习规律从而对新的样本做决策。

机器学习的学习方式： 监督学习（supervised learning）： 部分模型输入和理想输出是已知的，可以在理想输出的“监督”下不断学习，让模型的结果更靠近标准答案。非监督学习（unsupervised learning）： 标准输出是未知的，只能通过其他的方法辅助判断结果的正确程度。增强学习（reinforcement learning）： 在这种学习方法中，模型需要对依时间排列的一连串输入状态（state）做出响应，当模型对指定的输入返回结果后，一个外部的环境（environment）会对模型返回结果做出响应，并返回两个结果：评价（Reward）+新的输入（state）。

机器学习的组成部分： 模型、数据、目标函数（损失函数）和优化算法。

深度学习的逆袭

深度学习的发展过程： 机器学习刚兴起时，数据的缺失对研究机器学习十分不利，研究的问题简单、解决问题所需模型简单。为了解决更为复杂的问题，更好的利用有限的数据来解决问题，大量复杂精巧的模型被提出，如SVM。
随着大数据时代的来临，足量的数据支持可以减轻模型的压力，可以使用一些相对简单且扩展性足够好的模型，如大规模特征的逻辑斯特回归（Logistic regression），这时的模型以浅层模型为主，特征工程（通过一些操作将原始的特征转换成更容易被处理的特征，也就是人工先设计半成品再交给模型处理）在这个时代成为了机器学习工程师必备的技能之一，特征工程将前几层神经元的工作人工完成了。
为什么不加大模型的深度，让他自己训练数据呢？是因为深度模型曾经有两个难以攻克的问题：计算量（模型的深度越深，计算量就越大，对当年的计算速度来说力不从心）和复杂对（模型变得不可控，浅层模型的损失函数往往可以满足凸函数的性质，可以放心的优化模型，但深层模型将不再满足凸函数的性质，会出现很多优化问题）。这两个问题阻碍了深层模型的发展。
后来当慢慢解决这两个问题，大家开始重新审视这个被遗忘的屠龙神器。

深层模型碾压浅层模型的标志： 2012年ImageNet Large Scale Visual Recognition Challenge（ILSVRC），多伦多大学的SuperVision代表队在Classification和Localization竞赛中强势碾压其他对手。

深度学习的优点： 深度学习舍弃了特征工程的步骤，让模型更好的根据数据的原始状态学习成长，因此更容易学到数据中有价值的信息，用数据说话。

深度模型在视觉领域中的应用

图像分类： AlexNet、VGG-NET、GoogLeNet，到后来的Deep Residual Network成为了引领深度学习发展的典范。
目标检测： 找出图像中所有可能的实体，除了给出实体所在的范围，还要识别出实体的类别。为此有一批优秀的深度模型：从早期以滑动窗口为思想的OverFeat到基于图像分割再识别的R-CNN（Regional-CNN）、Faster R-CNN、再到一次性搞定的YOLO(You Only Look Once）和SSD（single shot detector）。
前面两种应用是high-level的，high-level的问题会从宏观的角度看待，下面一个是从微观的角度看待的low-level的应用。
图像分割： 需要精细的找到图像的边界。

深度学习和机器学习的关系

AI： 让机器展现出人类智力
机器学习： 抵达AI目标的一条路径。官方定义“计算机程序可以在给定某种类别的任务 T 和性能度量 P 下学习经验 E ，如果其在任务 T 中的性能恰好可以用 P 度量，则随着经验 E 而提高。”
深度学习： 实现机器学习的技术。官方定义“深度学习是一种特殊的机器学习，通过学习将世界使用嵌套的概念层次来表示并实现巨大的功能和灵活性，其中每个概念都定义为与简单概念相关联，而更为抽象的表示则以较不抽象的方式来计算。”