可解释性（1）—— lstm可视化工具LSTMVis

一、背景

深度模型成绩斐然，然而它就像一个黑箱子一样捉摸不透，使用者不知道它到底学到了些什么，也不知道它有什么凭据作出那样的预测，更不知道如何根据bad case去调特征，虽然能总结出几类bad case，bad case也有一些特定的pattern，但对样本作出相应的调整总是有点隔靴搔痒，难解其中真谛。

伟大的研究者们开始进行可解释性研究，针对LSTM，目前有词向量的聚类可视化，hidden state的聚类可视化，LSTMVis[1]这文章是在hidden state上做文章啦，代码和在线展示系统： http://lstm.seas.harvard.edu。

二、该论文主要做以下研究：

          1. 每个hidden state沿着time step有着怎样的变化规律？

          2. 对于特定time step范围的特定hidden state变化模式，与其相似的变化模式，文本是否也包含相似的信息？

三. 该论文的做法：

          1. 画了一个多折线图，横坐标是time step，纵坐标是hidden state的值，一条折线代表一个hidden state沿着time step的变化，所以如果你的h