【深度学习基础】

CNN基础知识

1. 感知机

单层感知机就是一个二分类器，接收输入向量，输出分类结果，先进行线性加权，再进行激活函数的非线性转换，就相当于是一个小模型，里面的权重w和b是模型的参数
参考1

参考2

2. DNN 深度神经网络（全连接神经网络）

DNN 与感知机的区别

DNN特点，全连接神经网络

DNN前向传播和反向传播

3. CNN结构【提取特征+分类】

3.1 CNN特有的卷积层，
3.2 卷积层自带卷积核和relu激活函数，
3.3 CNN特有的池化层（池化层没有激活函数）

4. CNN应用于文本

5. 输入归一化、批归一化和层归一化

1. 输入归一化

输入归一化后，梯度的方向会近似为最优搜索方向，效率更高

背景问题：特征数据经过运算后，数据的分布仍然会发生变化，这个现象叫做内部协变量偏移，

为了解决内部协变量偏移问题，就要使得每一个神经层的输入的分布在训练过程中保持一致，最简单有效的方法就是逐层归一化。

2. 批归一化

批归一化是不同数据之间，对于单个神经元之间的归一化

计算一个batch的数量为n，所有数据计算平均数和方差，也就是计算一个标准正态分布

批量归一化是不同训练数据之间对单个神经元的归一化。

批归一化和层归一化，都是对数据进行归一化，使得网络中每层输入数据的分布相对稳定，加速模型学习速度。

2. 层归一化

单个数据对于所有神经元之间，进行归一化

RNN基础

1. RNN的本质

常用在NLP中，应为NLP是处理语句的，语句之间有先后顺序，RNN可以在预测中加入先后顺序的信息

–分割线–

–分割线–

–分割线–

词向量模型word2Vec

把单词转换成向量，也就是一个一个的数值，计算机知道这些数值的含义，人类不需要理解

1. 自然语言处理需要解决的问题

1. 单词之间应该有先后的顺序，而不是用词频；
2. 意思相近的单词在空间中的表示也应该相近；

2. 如何解决上述问题

1. 把单词变成向量，计算两个向量之间的相似度；（解决问题2）

3. 词向量是什么（训练成词向量）

词向量就是在规定的维度内，通常是50-300维度，把单词变成数值，计算机可以认识

4. 神经网络做什么？

输入两个单词，预测第三个单词

5. 模型如何去训练词向量

1. 先有一个词向量库（随机初始化的），Look up embedding, 从中查找到输入词的向量，词向量输入到网络中，预测下一个词向量是什么，通过loss更新网络的权重参数以及词向量库
   
   词训练数据库，是任何正常说话的逻辑数据都可以当成训练数据

6. 构建训练数据

7. 浩大的语料库中，