【深度学习简介】

第一章

第一节   深度学习简介

深度学习是一种基于神经网络的学习方法。和传统的机器学习方法相比，深度学习模型一般需要更丰富的数据、更强大的计算资源，同时也能达到更高的准确率。目前，深度学习方法被广泛应用于计算机视觉、自然语言处理、强化学习等领域。

深度学习的目标：学习样本数据的内在规律和表示层次。

深度学习方法是具有多层次特征描述的特征学习，通过一些简单但非线性的模块将每一层特征描述（从未加工的数据开始）转化为更高一层的、更为抽象一些的特征描述。

深度学习还在很多领域都有涉及，在图像分类与识别、语音识别与合成、人脸识别、视频分类与行为识别等领域都有着不俗的表现。而且还涉及到与生活相关的纹理识别、行人检测、场景标记、门牌识别等领域。

深度学习关键：这些层次的特征不是由人工设计的，而是使用一种通用的学习步骤从数据中学习获取的（学习得到的）。

第二节   计算机视觉的基本任务

计算机视觉的定义：计算机视觉是一门研究如何使机器“看”的科学，涉及计算机如何从数字图像或视频中获得高级理解。即通过给计算机安装上眼睛（照相机）和大脑（算法），让计算机能够感知环境。

计算机视觉的基本任务包含图像处理、模式识别或图像识别、景物分析、图像理解等。除了图像处理和模式识别之外，它还包括空间形状的描述，几何建模以及认识过程。实现图像理解是计算机视觉的终极目标。

图像处理技术：把输入图像转换成具有所希望特性的另一幅图像。利用图像处理技术进行预处理和特征抽取。

图像理解技术是对图像内容信息的理解。

计算机视觉的传统算法，大致可以分为5个步骤：特征感知、图像预处理、特征提取、特征筛选、推理预测与识别

缺点：

1.缺乏对特征的重视            

2.图像特征提取需要人力

3.依赖特征算子

成功例子：

1.指纹识别算法

2.基于Haar的人脸检测算法

3.基于HoG特征的物体检测

计算机视觉的主要应用

1. 图像分类

图像分类是深度学习中最常见的应用之一。它的目标是将图像分到预定义的类别中。深度学习通过多层神经网络来学习图像的抽象特征。

图像分类一般包括以下步骤：数据准备、网络设计、模型训练、模型评估、模型优化

1. 目标检测

目标检测是指在图像或视频中识别和定位特定目标的任务。目标可以是人、车辆、动物等。目标检测的目标是找出图像中的目标对象，并给出其位置和范围。

目标检测=分类+定位

目标检测一般包括以下步骤：候选区域生成、特征提取、目标分类、边界框回归、非极大值抑制(NMS)

目标检测可以分为：

One-Stage目标检测：端到端，速度快。（YOLO、YOLOX）

Two-Stage目标检测：速度更慢，最开始提出。（SSD、R-CNN、Faster R-CNN）

第三节   自然语言处理(NLP)

深度学习自然语言处理（Natural Language Processing，NLP）是人工智能和语言学领域的分支学科。

自然语言处理包含机器理解、解释和生成人类语言的方法，因此，也将它描述为自然语言理解（Natural Language Understanding，NLU）和自然语言生成（Natural Language Generation，NLG）。

自然语言处理的基本问题：自然语言处理主要研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，其主要任务包括：语言建模、中文分词、句法分析、情感分析、机器翻译、阅读理解、语言生成、信息检索、语言理解。

第四节   深度学习与神经网络发展

神经网络

卷积神经网络（CNN）：

卷积神经网络是一种对人脑比较精准的模拟，它模拟了人脑识别图片时感知图片中的局部特征，之后将局部特征综合起来再得到整张图的全局信息的过程。其卷积层通常是堆叠的，低层的卷积层可以提取到图片的局部特征，高层的卷积能够从低层的卷积层中学到更复杂的特征，从而实现到图片的分类和识别。

卷积就是两个函数之间的相互关系。在计算机视觉里面，可以把卷积当作一个抽象的过程，就是把小区域内的信息统计抽象出来。

池化操作。池化操作在统计上的概念更明确，就是一个对一个小区域内求平均值或者求最大值的统计操作。

第五节  强化学习

监督学习与非监督学习

监督学习是通过带有标签或对应结果的样本训练得到一个最优模型，再利用这个模型将所有输入映射为相应输出，以实现分类。

例子： 假设我们需要预测患者的心脏病是否会发作，那么观察结果“心脏病发作”或“心脏病没有发作”将是样本的标签。 输入特征可能是生命体征，如心率、舒张压和收缩压等。

非监督学习是在样本的标签未知的情况下，根据样本之间的相似性对样本集进行聚类，使类内差距最小化，学习出分类器。

1、生成对抗性网络（generative adversarial networks）：

2、为我们提供一种合成数据的方法，甚至像图像和音频这样复杂的非结构化数据。

3、潜在的统计机制是检查真实和虚假数据是否相同的测试。

4、它是无监督学习的另一个重要而令人兴奋的领域。

与环境互动

对于监督学习，从环境中收集数据的过程类似于：

                                                        从环境中为监督学习收集数据。

强化学习

●强化学习（reinforcement learning）应用：机器人、对话系统，甚至开发视频游戏的人工智能（AI）。

●深度强化学习（deep reinforcement learning）将深度学习应用于强化学习的问题，是非常热门的研究领域。

●强化学习的例子：

●突破性的深度Q网络（Q-network）在雅达利游戏中仅使用视觉输入就击败了人类；

●以及 AlphaGo 程序在棋盘游戏围棋中击败了世界冠军。

强化学习的四个因素

1. 智能体：智能体是执行任务的客体，只能通过与环境互动来提升策略。
2. 环境：在每一个时间节点，智能体所处的环境的表示即为环境状态。
3. 行动：在每一个环境状态中，智能体可以采取的动作即为行动。
4. 反馈：每到一个环境状态，智能体就有可能会收到一个反馈。

                                                强化学习和环境之间的相互作用

强化学习的目标

      

强化学习的特征：

没有明确的标签：强化学习没有明确的标签来告诉智能体什么是正确的动作。必须通过与环境的交互来学习。

延迟回报：奖励信号可能在未来的时间点才会到达，因此代理需要考虑长期回报而不只是当前的奖励。

动态环境：环境可能是动态变化的，智能体必须能够适应环境的变化并调整策略。

强化学习算法简介

如果agent不需要去理解或计算出环境模型，算法就是Model-Free的；相应地，如果需要计算出环境模型，那么算法就是Model-Based的。

强化学习算法的应用：

交互性检索是在检索用户不能构建良好的检索式（关键词）的情况下，通过与检索平台交流互动并不断修改检索式，从而获得较准确检索结果的过程。

新闻推荐需要：获取用户请求，召回候选新闻，对候选新闻进行排序，最终给用户推出新闻。

无人驾驶被认为是强化学习短期内能技术落地的一个应用方向，很多公司投入大量资源在无人驾驶上，其中百度的无人巴士“阿波龙”已经在北京、武汉等地展开试运营。

游戏领域：强化学习在游戏中的应用非常广泛。例如，在电子游戏中，强化学习算法可以训练智能体来学习如何玩游戏，并制定最佳策略来获得高分或战胜对手。AlphaGo就是一个成功的示例，它通过强化学习击败了世界冠军围棋选手。