【文献笔记】Deep Learning_LeCun_深度之眼

《深度学习》文献笔记_from 深度之眼paper班

1.论文结构

• 1 引言

• 2 监督学习

• 3 反向传播算法

• 4 卷积神经网络

• 5 基于深度卷积神经网络的图片理解

• 6 分布表示和语言模型

• 7 循环神经网络

• 8 深度学习的未来

2.前期知识储备

机器学习算法、RNN结构和原理、CNN结构和原理

3.内容梳理

1.1 引言

深度学习：用多层神经网络找到一个函数，函数可以被学习，并表示复杂功能，如语音识别、图像识别。

深度学习应用：

• 计算机视觉

• 自然语言处理

• 其他：医学影像分析等

1.2 监督学习

通过计算一个目标函数，测量出分数与所需分数之间的误差，模型通过BP反向传播算法修改内部参数，减少误差。该参数即权重，可视为机器内数以亿记的旋钮。

• 反向传播算法：通过梯度下降调节参数。

1.3 反向传播算法

（1）链式求导法则

x对y的变化和y对z的变化。

（2）前向传播

（3）反向传播

计算每个单元输出的误差导数，误差从一个单元反向传播到每一层，最终到输入层，传播过程调整参数。这就是学习过程。

1.4 卷积神经网络

• 一个神经元无法看到整张图片，卷积核扫描图像中不同区域。

• 单层神经网络可以表示任何函数（2017年数学已经证明）CNN可以大量减少参数

1.5 基于深度卷积神经网络的图片理解

CNN提取图片信息，RNN训练生成语句描述图片关注信息。

1.6 分布表示和语言模型

（1）Embedding概念

传统方法one-hot独热编码，word-embedding将词映射到向量空间，相似含义词句可以在一起表示。

（2）word2vec

给定input词，预测上下文。得到2组数据，input word和output word训练，最终得到输出向量。

1.7 循环神经网络

（1）RNN特点：

• RNN在每个时间点连接参数值，参数只有一份

• 神经网络除了输入，还会建立以前的“记忆“

• 理解为：带有存储功能的神经网络

（2）LSTM-长短记忆网络

• 比普通RNN有更好表现

• 有4个输入（3个gate）1个输出

1.8 深度学习的未来

• 非监督学习

• 强化学习

  • 不需要出现正确的输入-标签对，更专注在线规划，需要在探索（未知领域）和开发（现有知识）间找到平衡，学习过程是智能体不断和环境交互，不断试错的反复练习过程。

  • RL不同于监督学习，因没有监督者，只有一个奖励信号并且反馈是延迟的，因此时间序列在RL有重要意义。

• GAN生成对抗网络

  • 核心思想：博弈论和纳什均衡

  • 生成器和判别器：分别学习真实数据分布、判别数据是否来自真实数据分布，寻找2者间纳什均衡

• 自监督学习

  • 一切都在预测，现在预测未来、部分预测整体、未来预测（修正）现在。

  • 出处：2018Bert模型，自监督学习提升模型。

  4.IDEA

  开山性综述论文，重点标黄，可以按照文章结构作为学习路线，进一步了解NN/CNN/RNN/LSTM/RL等具体知识