深度学习第一周

深度学习

参考博客 深度学习（一）深度学习简介以及常用算法

一、深度学习概念

1.深度学习定义

深度学习定义：一般是指通过训练多层网络结构对未知数据进行分类或回归

深度学习分类：有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；

​ 无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。

深度学习的思想：

深度神经网络的基本思想是通过构建多层网络，对目标进行多层表示，以期通过多层的高层次特征来表示数据的抽象语义信息，获得更好的特征鲁棒性。

2.深度学习应用

图像处理领域主要应用

• 图像分类(物体识别)：整幅图像的分类或识别

• 物体检测：检测图像中物体的位置进而识别物体

• 图像分割：对图像中的特定物体按边缘进行分割

• 图像回归：预测图像中物体组成部分的坐标

语音识别领域主要应用

• 语音识别：将语音识别为文字

• 声纹识别：识别是哪个人的声音

• 语音合成：根据文字合成特定人的语音

自然语言处理领域主要应用

• 语言模型：根据之前词预测下一个单词。

• 情感分析：分析文本体现的情感(正负向、正负中或多态度类型)。

• 神经机器翻译：基于统计语言模型的多语种互译。

• 神经自动摘要：根据文本自动生成摘要。

• 机器阅读理解：通过阅读文本回答问题、完成选择题或完型填空。

• 自然语言推理：根据一句话(前提)推理出另一句话(结论)。

综合应用

• 图像描述：根据图像给出图像的描述句子

• 可视问答：根据图像或视频回答问题

• 图像生成：根据文本描述生成图像

• 视频生成：根据故事自动生成视频

二、4种典型的深度学习算法

卷积神经网络 - CNN

CNN 的价值：

• 能够将大数据量的图片有效的降维成小数据量(并不影响结果)

• 能够保留图片的特征，类似人类的视觉原理

CNN 的基本原理：

• 卷积层 – 主要作用是保留图片的特征

• 池化层 – 主要作用是把数据降维，可以有效的避免过拟合

• 全连接层 – 根据不同任务输出我们想要的结果

CNN 的实际应用：

• 图片分类、检索

• 目标定位检测

• 目标分割

• 人脸识别

• 骨骼识别

循环神经网络 - RNN

RNN 是一种能有效的处理序列数据的算法。比如：文章内容、语音音频、股票价格走势…

之所以他能处理序列数据，是因为在序列中前面的输入也会影响到后面的输出，相当于有了“记忆功能”。但是 RNN 存在严重的短期记忆问题，长期的数据影响很小（哪怕他是重要的信息）。

于是基于 RNN 出现了 LSTM 和 GRU 等变种算法。这些变种算法主要有几个特点：

• 长期信息可以有效的保留

• 挑选重要信息保留，不重要的信息会选择“遗忘”

RNN 几个典型的应用如下：

• 文本生成

• 语音识别

• 机器翻译

• 生成图像描述

• 视频标记

生成对抗网络 - GANs

假设一个城市治安混乱，很快，这个城市里就会出现无数的小偷。在这些小偷中，有的可能是盗窃高手，有的可能毫无技术可言。假如这个城市开始整饬其治安，突然开展一场打击犯罪的「运动」，警察们开始恢复城市中的巡逻，很快，一批「学艺不精」的小偷就被捉住了。之所以捉住的是那些没有技术含量的小偷，是因为警察们的技术也不行了，在捉住一批低端小偷后，城市的治安水平变得怎样倒还不好说，但很明显，城市里小偷们的平均水平已经大大提高了。

警察们开始继续训练自己的破案技术，开始抓住那些越来越狡猾的小偷。随着这些职业惯犯们的落网，警察们也练就了特别的本事，他们能很快能从一群人中发现可疑人员，于是上前盘查，并最终逮捕嫌犯；小偷们的日子也不好过了，因为警察们的水平大大提高，如果还想以前那样表现得鬼鬼祟祟，那么很快就会被警察捉住。为了避免被捕，小偷们努力表现得不那么「可疑」，而魔高一尺、道高一丈，警察也在不断提高自己的水平，争取将小偷和无辜的普通群众区分开。随着警察和小偷之间的这种「交流」与「切磋」，小偷们都变得非常谨慎，他们有着极高的偷窃技巧，表现得跟普通群众一模一样，而警察们都练就了「火眼金睛」，一旦发现可疑人员，就能马上发现并及时控制——最终，我们同时得到了最强的小偷和最强的警察。

深度强化学习 - RL

强化学习算法的思路非常简单，以游戏为例，如果在游戏中采取某种策略可以取得较高的得分，那么就进一步「强化」这种策略，以期继续取得较好的结果。这种策略与日常生活中的各种「绩效奖励」非常类似。我们平时也常常用这样的策略来提高自己的游戏水平。

在 Flappy bird 这个游戏中，我们需要简单的点击操作来控制小鸟，躲过各种水管，飞的越远越好，因为飞的越远就能获得更高的积分奖励。

这就是一个典型的强化学习场景：

• 机器有一个明确的小鸟角色——代理

• 需要控制小鸟飞的更远——目标

• 整个游戏过程中需要躲避各种水管——环境

• 躲避水管的方法是让小鸟用力飞一下——行动

• 飞的越远，就会获得越多的积分——奖励