《深度学习》文献笔记_from 深度之眼paper班
1.论文结构
-
1 引言
-
2 监督学习
-
3 反向传播算法
-
4 卷积神经网络
-
5 基于深度卷积神经网络的图片理解
-
6 分布表示和语言模型
-
7 循环神经网络
-
8 深度学习的未来
2.前期知识储备
机器学习算法、RNN结构和原理、CNN结构和原理
3.内容梳理
1.1 引言
深度学习:用多层神经网络找到一个函数,函数可以被学习,并表示复杂功能,如语音识别、图像识别。
深度学习应用:
-
计算机视觉
-
自然语言处理
-
其他:医学影像分析等
1.2 监督学习
通过计算一个目标函数,测量出分数与所需分数之间的误差,模型通过BP反向传播算法修改内部参数,减少误差。该参数即权重,可视为机器内数以亿记的旋钮。
- 反向传播算法:通过梯度下降调节参数。
1.3 反向传播算法
(1)链式求导法则
x对y的变化和y对z的变化。
(2)前向传播
(3)反向传播
计算每个单元输出的误差导数,误差从一个单元反向传播到每一层,最终到输入层,传播过程调整参数。这就是学习过程。
1.4 卷积神经网络
-
一个神经元无法看到整张图片,卷积核扫描图像中不同区域。
-
单层神经网络可以表示任何函数(2017年数学已经证明)CNN可以大量减少参数
1.5 基于深度卷积神经网络的图片理解
CNN提取图片信息,RNN训练生成语句描述图片关注信息。
1.6 分布表示和语言模型
(1)Embedding概念
传统方法one-hot独热编码,word-embedding将词映射到向量空间,相似含义词句可以在一起表示。
(2)word2vec
给定input词,预测上下文。得到2组数据,input word和output word训练,最终得到输出向量。
1.7 循环神经网络
(1)RNN特点:
-
RNN在每个时间点连接参数值,参数只有一份
-
神经网络除了输入,还会建立以前的“记忆“
-
理解为:带有存储功能的神经网络
(2)LSTM-长短记忆网络
-
比普通RNN有更好表现
-
有4个输入(3个gate)1个输出
1.8 深度学习的未来
-
非监督学习
-
强化学习
-
不需要出现正确的输入-标签对,更专注在线规划,需要在探索(未知领域)和开发(现有知识)间找到平衡,学习过程是智能体不断和环境交互,不断试错的反复练习过程。
-
RL不同于监督学习,因没有监督者,只有一个奖励信号并且反馈是延迟的,因此时间序列在RL有重要意义。
-
-
GAN生成对抗网络
-
核心思想:博弈论和纳什均衡
-
生成器和判别器:分别学习真实数据分布、判别数据是否来自真实数据分布,寻找2者间纳什均衡
-
-
自监督学习
-
一切都在预测,现在预测未来、部分预测整体、未来预测(修正)现在。
-
出处:2018Bert模型,自监督学习提升模型。
4.IDEA
开山性综述论文,重点标黄,可以按照文章结构作为学习路线,进一步了解NN/CNN/RNN/LSTM/RL等具体知识
-