m0_62145399的博客

原创 自定义Ascend C算子，支持模型在华为NPU加速卡上部署运行

本次涉及的其中一个模型是文本情感分类模型，大概结构是CNN层加上一些双向LSTM层，模型框架采用的是TensorFlow 1.x版本训练，之前的部署采用的是TFServing完成。查询Ascend算子文档发现，目前提供的涉及LSTM的算子只有最简单的实现，没有与CudnnLSTM匹配的候选项，于是我们决定采用自定义Ascend C算子的方案，来实现模型的部署运行。name=None其中，num_layers为LSTM层数，num_units为隐藏层维度。