神经网络与深度学习其四

1. 序列模型

图像分类：由当前输入得到当前输出；

时间序列预测：由当前+过去输入得到当前输出。

自回归模型：保留一些对过去观测的总结,并且同时更新预测和总结混淆矩阵：

2. 数据预处理

特征编码：数值特征与类别特征。

文本处理：

1.按字母处理

2.按单词处理——文本切分

3. 文本处理与词嵌入

3.1文本预处理本嵌入

一篇文章可以被简单地看作一串单词序列，甚至是一串字符序列。 我们将

解析文本的常见预处理步骤。 这些步骤通常包括：

1.将文本作为字符串加载到内存中。

2.将字符串切分为词元（如单词和字符）。

3.建立一个字典，将拆分的词元映射到数字索引。

4.将文本转换为数字索引序列，方便模型操作

3.2文本嵌入

1.使用之前所述的独热向量

2. 将独热向量映射为低维向量

4. RNN模型

循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络模型。与传统的前馈神经网络不同，RNN具有一种循环结构，使其能够处理具有时序关系的数据，如文本、语音、时间序列等。RNN的基本结构包括一个输入层、一个隐藏层和一个输出层。隐藏层的神经元之间存在反馈连接，使得网络可以在处理每个时间步的输入时保持状态信息，并将其传递到下一个时间步。这种机制使得RNN能够捕捉序列中的长期依赖关系，从而更好地处理序列数据。

5. RNN误差反传

每个时间步的隐状态和输出可以写为：

通过一个目标函数在所有𝑇个时间步内评估输出𝑜𝑡和对应的标签𝑦𝑡之间的差异

按照链式法则：

移除循环计算