基础深度模型学习
文章平均质量分 93
本栏目主要是个人对基础的深度学习模型的学习
应有光
这个作者很懒,什么都没留下…
展开
-
【PLM—3】——Bert结构学习
仅仅看Bert的论文其实对我们的帮助并不大,我们一般更关注于实践中对Bert结构的搭建。BERT原文的代码为:https://github.com/google-research/bert,但是其为TF写的,然而我并不会TF。因此本文参考Hugging Face的Transformers库的实现,学习Bert结构。......原创 2022-07-08 22:03:05 · 1002 阅读 · 1 评论 -
【PLM—1】——2019-NAACL-Bert
本文是对Bert的论文阅读。值得我们注意的是,Bert的论文可能本身并不神奇,关键在于应用。原创 2022-07-08 17:44:58 · 313 阅读 · 0 评论 -
【PLM—2】——2019-Arxiv-Robera
2019年Arxiv上的一篇预训练模型RoBERTa: A Robustly Optimized BERT Pretraining Approach,虽然后来也没看到这个模型被哪个会议录用了,大概是因为创新点并不大。不过似乎因为是对Bert充分训练、研,而被研究者们广泛使用了(虽然也有人说没比Bert强到哪里去)。......原创 2022-07-08 17:41:59 · 283 阅读 · 0 评论 -
【Transformers-实践3】——LEBert-CRF用于中文平坦实体(Flat NER)识别
LeBert为Lexicon Enhanced Bert,即词表增强的Bert。考虑到NER边界,其实也是分词的边界。因此,自然而然地引入词汇边界信息,有利于提升NER效率。本文的任务目标在于利用预训练的语言模型,并使用额外的词表,辅助下游的中文语料的平坦命名实体识别任务。.........原创 2022-07-08 17:34:14 · 1270 阅读 · 1 评论 -
【VAE-1】——VAE教程阅读
本文为VAE原作者Diederik P. Kingma在Arxiv上的一篇解读An Introduction toVariational Autoencoders的阅读记录。原文实际上是对于自己的得意之作VAE进行更进一步的讨论,以及对follow-up的工作进行讨论的文章。In chapter 2 we explain the basics of VAEs.In chapter 3 we explain advanced inference techniques,in chapter 4 give原创 2022-07-06 14:17:50 · 795 阅读 · 0 评论 -
【Transformers-实践2】——Bert-CRF用于英语平坦实体(Flat NER)识别
本文是学习使用Huggingface的Transformers库的简单实践,我们简单的梳理一下模型的结构,以及具体的程序结构。本文的任务目标在于利用预训练的语言模型,辅助下游的英语的识别任务。主要包括四大模块:tokenizer、Bert model、classifier、CRF layer。............原创 2022-07-05 19:01:25 · 2757 阅读 · 14 评论 -
【dual learning】——Dual Learning for Machine Translation
本文主要描述的是NMT中的一些Dual learning的方法,其中主要是基于半监督和无监督下的场景。回顾back-translation的方法:Principle of Dual Reconstruction这里以机器翻译为例,说明半监督条件下的Dual learning。图中Bob只说语言X,Alice只说语言Y,并且有两个翻译模型。实际上,我们并不确保两个机器翻译模型的正确性。但是我们至少可以通过以下手段判断翻译模型是否存在问题:1.Bob向模型fff说一句话xxx,因此得到了yˉ=f(x原创 2021-12-19 15:41:50 · 382 阅读 · 0 评论 -
【Basic model】Transformer-实现中英翻译
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar原创 2021-11-26 21:25:54 · 2021 阅读 · 1 评论