Tensorflow2
文章平均质量分 69
妙妙屋的mong男
北京化工大学研究生,研究方向:基于深度学习代码迁移技术研究。
目前感兴趣:深度学习、代码表征;
工作方向:前后端开发技术
展开
-
Tensorflow2自定义网络 2. Pointer-Generator Seq2Seq复制机制神经网络大致介绍和框架实现
网络大致介绍为了提升神经机器翻译质量,论文Get To The Point: Summarization with Pointer-Generator Networks 两个角度出发:减少网络翻译出现重复语句的情况尽可能从输入获取单词表外的单词,强化语义转换的同时,减少OOV的情况。基于此,提出了Coverage mechanism和Pointer-generator。Coverage mechanismCoverage vector计算来源于译码器0~t-1的注意力权重,用于Bahdana原创 2021-09-10 17:02:03 · 332 阅读 · 0 评论 -
Tensorflow2自定义网络 1. Tree-LSTM大致介绍与代码实现
Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks大致介绍这篇论文提出了Tree-LSTM,把LSTM结果扩展到树状的网络拓扑结构,对于一些NLP任务(或者说 处理具有树型数据结构的数据)提供了特征提取的方法。简单来说,有两种模型,一种是Child-Sum,一种是N-ray。个人认为:Child-Sum的缺点是,特征提取会丢失子节点的位置信息(孩子节点的特征向量做加法,并不能原创 2021-06-21 20:55:01 · 1244 阅读 · 5 评论