NLP与RNN

序列模型

时间序列预测是根据当前+过去输入来得到当前输出

数据预处理

将数据中的原始特征转换成机器学习算法更易于处理的形式的过程，如自然语言训练使用的预处理转换方式如词袋模型、TF-IDF、词嵌入等，以便模型能够有效学习和预测文本数据。
词嵌入：是一种将词汇表中的单词映射到低维连续向量空间的技术。它通过将每个单词表示为密集向量，捕捉了单词之间的语义和语法关系。在词嵌入中，相似含义的单词在向量空间中会更加接近，而不同含义的单词则会有一定的距离。常见的词嵌入模型包括Word2Vec、GloVe和FastText。其中，Word2Vec通过训练神经网络来学习单词向量，它有两种训练模式：连续词袋模型（CBOW）和跳字模型（Skip-gram）。GloVe则是一种基于全局词频统计的方法，通过最小化词向量之间的差异来学习词嵌入。而FastText不仅可以学习单词级别的向量，还可以学习子词（subword）级别的向量，从而更好地处理未登录词和稀有词。

RNN模型

RNN误差反传：RNN误差反向传播是用于优化循环神经网络（RNN）参数的方法，通过计算模型输出与目标值之间的误差，并将误差通过时间展开的方式沿时间步传播，然后利用梯度下降算法更新参数。下面是RNN误差反向传播的基本公式