nlp课程
chenmingwei000
这个作者很懒,什么都没留下…
展开
-
阅读理解多选择题模型消除选项的模型 A Model for Eliminating Options for Reading Comprehension
虽然已经此文章的相关翻译,但是感觉介绍的并不清楚,并且本文章把论文的Theano更改成了tensorflow版本,并且尝试增加bert模型的修改。含有多个选项的阅读理解,需要人在给定{passage,question}对的前提下,选择n个选项中的最优的一个选择项作为答案。当前的state of the art方法是利用question对passage 进行attention操作得到一个综合表示,然后与选择与选项相似度最高的作为答案。但是人类去做这样的题目不仅集中于选项,主要也采用了排除和选择两种操作。.翻译 2021-03-13 11:07:01 · 251 阅读 · 0 评论 -
Albert 论文相关笔记
albert 的主要改进点在于两点:1、因式分解词汇embedding参数(当然和数学里边的因式分解不一样),这里采用了矩阵映射的方法,把大的词汇矩阵分解成两个小矩阵,把hidden_size与embedding_size进行分割,这个分割不需要增加一些无意义的参数增加,说实话这些好处都没有什么用处,作者在代码里就简单的做了矩阵的映射变换。2、另外一个就是夸层参数共享,这两个改进都在不影响精...原创 2019-12-25 15:55:32 · 388 阅读 · 0 评论 -
Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试(二)
`Al-bert利用自己训练数据集预训练以及测试LCQMC语义相似度测试## 标题(二)上一张讲解了怎么构造预训练的数据,这一章讲解训练过程,一起探讨与bert的区别1.2 run_pretraining.py 的讲解 我们仍然采用debug模式进行 bert_config = modeling.BertConfig.from_json_file(FLAGS.bert_confi...原创 2019-12-19 11:07:16 · 2415 阅读 · 0 评论 -
斯坦福nlp学习笔记(二)
cs224n-2017-notes1 这个课程一介绍nlp的基础概念开始,今天所面临的的困难,然后讨论了单词用数字向量表示的的概念,最后我们讨论单词向量的比较好的方法。 1 Introduction to natural language processing 开始什么是nlp 1.1 what is so sprcial about NLP...翻译 2018-12-26 19:17:28 · 789 阅读 · 0 评论 -
斯坦福nlp学习笔记(一)
针对nlp的问题,对起课程进行翻译: cs224n-2017-lecture1 1、人类的语言有哪些特点呢? 一个人类语言就是能够特定的组织来表达其意思的系统: (1)不仅仅是一个环境信号,更多是一个交流信息;(2)用了一种编码方式,并且这种方式,一个小孩都可以能够很快的学习。 所以一种人类语言就是一个离散的、符号、...翻译 2018-12-25 18:46:02 · 2768 阅读 · 0 评论