深度学习导论

---

前言

深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。

一、AI or 深度学习？

• AI:人工智能是要让机器的行为看起来像人所表现出的智能行为一样
  人工智能包括计算智能、感知智能和认知智能等层次，目前人工智能还介于前
  两者之间
  目前人工智能所处的阶段还在“弱人工智能”（Narrow AI）阶段，距离“强
  人工智能”（General AI） 还有较长的路要走

• 机器学习（80年代，实现人工智能的一种技术）:机器学习是人工智能的一个分支，它是实现人工智能的一个核心技术，即以机器学习为手段解决人工智能中的问题。
  机器学习是通过一些让计算机可以自动“学习”的算法并从数据中分析获得规律，然后利用规律对新样本进行预测。
  机器学习的形式化的描述:
  对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么就称这个计算机程序在从经验E学习

• 深度学习：在2010年之后得到广泛发展，是深层次的神经网络，机器学习的一种实现方法。

二、机器学习分类

1.有监督学习

有监督学习（supervised learning），指的是事先需要准备好输入与正确输出（区分方法）相配套的训练数据，让计算机进行学习，以便当它被输入某个数据时能够得到正确的输出（区分方法）

2.无监督学习

无监督学习（unsupervised learning）的目的是让计算机自己去学习怎样做一些事情，所有数据只有特征而没有标记。无监督学习被运用于仅提供输入用数据、需要计算机自己找出数据内在结构的场合。其目的是让计算机从数据中抽取其中所包含的模式及规则

3.半监督学习

二者的中间地带是半监督学习（semi-supervised learning）。

• 对于半监督学习，其训练数据一部分有标记，另一部分没有标记，而没有标记数据的数量常常极大于有标记数据的数量。

• 它的基本规律是：数据的分布必然不是完全随机的，通过结合有标记数据的局部特征，以及大量没标记数据的整体分布，可以得到比较好的分类结果

4.强化学习

• 强化学习（reinforcement learning，RL），是解决计算机从感知到决策控制的问题，从而实现通用人工智能。
  强化学习是目标导向的，从白纸一张的状态开始，经由许多个步骤来实现某一维度上的目标最大化。最简单的理解是在训练过程中，不断去尝试，错误就惩罚，正确就奖励，由此训练得到的模型在各个状态环境中都最好。
• 对强化学习来说，它虽然没有标记，但有一个延迟奖励与训练相关，通过学习过程中的激励函数获得某种从状态到行动的映射。强化学习强调如何基于环境而行动，以取得最大化的预期利益。
• 强化学习一般在游戏、下棋等需要连续决策的领域。

三、主流框架

1.PyTorch

• Torch 是一个非主流，开发语言：基于1990 年代诞生的 Lua

• Facebook 的人工智能研究所用的框架是 Torch

• Torch 非常适用于卷积神经网络

• Torch 的灵活度更高，因为它是命令式的，支持动态图模型

• 2017 年初，Facebook 在Torch 的基础上，针对 Python 语言发布了一个全新的机器学习工具包 PyTorch。PyTorch可以说是Torch的Python版，然后增加了很多新的特性

• 2018年4月， Facebook 宣布 Caffe2 将正式将代码并入了 PyTorch

2.Keras

• 是一个非常高层的库，可以工作在 Theano 和、TensorFlow和CNTK之上

• Keras 强调极简主义——你只需几行代码就能构建一个神经网络，Keras 为 支持快速实验而生，能够把你的idea迅速转换为结果

• Keras的句法是相当明晰的，文档也非常好 支持Python

3.PaddlePaddle

• PaddlePaddle，百度旗下深度学习开源平台。Paddle(Parallel Distributed Deep Learning，并行分布式深度学习)
• 2016年9月1日百度世界大会上，百度首席科学家Andrew Ng(吴恩达)首次宣布将百度深度学习平台对外开放，命名PaddlePaddle。
• 2016年9月27日，PaddlePaddle在开源社区Github及百度大脑平台开放
• 百度资深科学家、PaddlePaddle研发负责人徐伟介绍：“在PaddlePaddle的帮助下，深度学习模型的设计如同编写伪代码一样容易，设计师只需关注模型的高层结构，而无需担心任何琐碎的底层问题。"

4.TensorFlow

A machine learning platform
for everyone
to solve real problems
(它广告就这样打的，由谷歌开发，灵活性强。就不细说了，总之吴恩达自己授课是用的是TF哦。

总结

本文介绍了深度学习与AI的关系，并且介绍了主流的框架，鉴于上个赛季视觉组大佬们使用的是pytorch，所以今后以pytorch为主