deeplearning
xxl98330
stay hungry stay foolish
展开
-
详解Attention机制及Tensorflow之attention_wrapper
0 - 前言 近期想基于tensorflow开发一套翻译模型,无奈网上关于tensorflow及其attention相关接口更多的是使用,对其内部的具体实现机理却较少提及,故写此博客一探attention_wrapper之究竟,希望对同样需要的朋友有些帮助,如有错误,烦请指正。 Google的工程师们为了让代码结构更安全、准确、完整、通用,在源代码中加入了较多的判断等相关...原创 2018-04-09 16:38:12 · 17266 阅读 · 8 评论 -
google bert模型详解 源码解析
Table of Contents模型简介1.A High-Level Look2.Encoder(http://jalammar.github.io/illustrated-transformer/)3.Self-Attention(http://jalammar.github.io/illustrated-transformer/)4. Matrix Calculat...原创 2019-01-30 16:09:47 · 4645 阅读 · 5 评论