伯禹-公益AI学习打卡 Task02

1.文本预处理

记录一哈文本数据的常见预处理步骤：

（1）读入文本

（2）分词

（3）建立字典，将每个词映射到一个唯一的索引（index）

（4）将文本从词的序列转换为索引的序列，方便输入模型

2.基于统计学的语言模型

主要理论是一个n元语法，它是一个基于n-1阶马尔可夫链的概率语言模型，主要解释如下：

3.循环神经网络基础

（1）需要明白循环神经网络的设计目的在于处理时间序列类的数据，例如自然文本语言。其预测输出不仅与当前时刻输入有关，也与历史时刻输入有关，  网络结构如下：

循环神经网络引入一个隐藏变量H，用Ht表示H在时间步t的值。Ht的计算基于Xt和上一时刻状态Ht−1，可以认为Ht记录了到当前字符为止的序列信息，利用Ht对序列的下一个字符进行预测。

（2）裁剪梯度

由此可以解决循环神经网络中梯度爆炸问题。

 

 

 

 

 

----------------------家中条件有限，精力不能集中，仓促的笔记，未能亲自敲代码；过两日把老板的ARX预测模型搞通再来详细学习伯禹的网课，感谢伯禹公益AI《动手学》！