Gan初探(二)序列生成 Mad-Gan、Seq-Gan实验

背景

将用户行为转化为序列数据后，需要做部分种类的样本的数据增强。

介绍

Mad-Gan：使用Gan完成异常检测。
生成器与判别器都换成了lstm，其他和SGan没有任何区别。从随机向量生成序列。

优点：将生成器加入到异常判别的队伍中，通过构造随机向量的方法得到重构目标样本的损失，加权和判别网络得到的分数求和，卡个阈值判断异常点

缺点：生成器其实无法生成高质量的序列样本，个人认为它没有解决序列生成的几个问题。

序列生成存在的问题:(1)离散数据很难使用梯度更新 (2)判别器很难对不完整序列判断真假

Seq-Gan：生成对抗+强化学习，解决了上面的问题。

针对第一个问题，我们不直接生成序列，而是生成下一步行为的概率，概率是连续的，可以梯度更新。
针对第二个问题，我们利用强化学习的蒙特卡洛搜索，将不完整序列补充成完整序列。

生成网络G(LSTM):根据当前状态输出下一步不同行为的概率
判别网络D(CNN):根据输入的完整序列判断其真假

判别器的训练与SGan完全一致，在打上label的情况下有监督的训练。
生成器做了比较大的调整：

先从G生成完整序列（长度为T），为了得到每一个位置生成的好坏，对于每一个位置t，截取它的前缀（长度为t），利用MC search中的roll-out policy补全序列。roll-out policy：构造用于快速决策的网络R，使用与G一样的网络结构，定期从G那儿拷贝参数，为什么不实时更新？为了追求快速决策的速度，在允许的情况下可以实时更新。将重复补全的n个序列给D，得到完整序列分数，求平均就得到t位置的reward，利用policy gradient策略梯度更新即可。

实际操作：Gan+强化学习，训练难度几何程序上升，不知道作者怎么想的，在数据集较大的情况下调参成本惊人。

可以的改进：
1.增加评判Gan的指标，原论文的指标不太行。但是我也没有提取序列特征的网络。
2.在生成序列之前先对序列做一个简单的分类，降低了数据集规模，又提高了生成网络的效果。

TimeGan：来不及了，只知道也是个生成序列的，感觉没有seqGan理论好，没看也没用，有时间填坑。