![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
deep learning
Young_Foo_
NLP算法工程师
展开
-
解决序列长期依赖的法宝——注意力机制
注意力的种类有如下四种:加法注意力, Bahdanau Attention点乘注意力, Luong Attention自注意力, Self-Attention多头点乘注意力, Multi-Head Dot Product Attention(请转至Transformer模型)1. Bahdanau AttentionNeural Machine Translation by Jo...原创 2020-02-06 18:46:27 · 1914 阅读 · 0 评论 -
Bert源码(一)
微调代码文件 run_classifier.py开始部分通过tf.flags.FLAGS来设置参数,分为必选参数和可选参数。必选参数data_dir 数据集所在目录bert_config_file bert预训练模型的config文件,以json文件形式储存task_name 任务名称,默认带了’cola’, ‘mnli’, ‘mrpc’, 'xnli’四个任务vocab_file ...原创 2019-12-26 15:16:24 · 866 阅读 · 0 评论