12_16下午

递归神经网络-序列，文本

全连接不能考虑语序

递归可考虑序列

the(t1) cat(t2) eat the mouse```(tn)时间步

 

RNN：

 

 

梯度消失：参数不能更新

LSTM:RNN的变体

v为矩阵变换后的输入

缓解梯度消失的问题，处理长度比较长的序列

输入是序列，输出也是序列

只拿最后一个时间步的输出去预测

确保数据的形状是正确的，以便在 RNN 中使用

# Data is to be fed into RNN - ensure that the actual data is of size [batch size, sequence length, 1]
X_train =X_train.reshape(-1,SEQ_LEN,1) ##TODO## : Reshape the data to fit an RNN
X_test =X_test.reshape(-1,SEQ_LEN,1)  ##TODO## : Reshape the data to fit an RNN

可视化：PCS TSNE

 

翻译大多通过神经网络实现，CRF out

循环神经网络解决解码器编码器（序列 to 序列）

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

zzz