用 tf.scan() 自主实现/改造 RNN cell (GRU/LSTM)

最新推荐文章于 2024-05-16 16:32:03 发布

南阁风起

最新推荐文章于 2024-05-16 16:32:03 发布

阅读量780

点赞数

分类专栏：技术总结文章标签： tensorflow RNN

本文链接：https://blog.csdn.net/qq_27465499/article/details/102786474

版权

本文介绍了如何利用tensorflow的tf.scan()函数自主实现和改造RNN单元，如GRU，以适应特殊需求。通过一个实例展示了tf.scan()的工作原理，并提供了GRU单元的实现过程，强调了在处理输入维度时要注意转置操作。

摘要由CSDN通过智能技术生成

在tensorflow RNN layer的搭建(GRU,LSTM等)中，我们展示了如何调用 tensorflow 内置模块和函数，搭建RNN layer。然而，当一般的GRU/LSTM layer不适用时，我们希望对其 cell 进行改进，实现自主设计的改造版的RNN cell。
这方面研究工作代表的典型有：Time-LSTM，论文链接为：What to Do Next: Modeling User Behaviors by Time-LSTM
下面，我们从tensorflow的内置函数 tf.scan()出发，展示如何自主实现/改造 RNN cell。

tf.scan()

tf.scan(
    fn,
    elems,
    initializer=None,
    parallel_iterations=10,
    back_prop=True,
    swap_memory=False,
    infer_shape=True,
    name=None
)

fn : 一个二元函数
elems：一个tensor list
initializer：一个tensor，作为初始化值
实际上，tf.scan()所能应用的类型不止如此，这里只举了我们所需要用到的部分
在tf.scan 记录中有一个很好的例子，我们借鉴一下：

x = [1,2,3]
z = 10

x = tf.convert_to_tensor(x)
z = tf.convert_to_tensor(z)

def f(x,y):
    return x+y

g = tf.scan(fn=f,elems = x,initializer=z)

sess = tf.Session()
sess.</