![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp自然语言处理
文章平均质量分 94
谁是momo子
拖延症患者
展开
-
文献阅读笔记—Deep contextualized word representations
迁移学习在nlp领域的应用之pretrain language representation,四连载,建议按顺序看,看完对该方向一定会非常清楚的!(一)ELMO:Deep contextualized word representations(二)Universal Language Model Fine-tuning for Text Classification(三)openAI ...原创 2018-10-26 16:41:28 · 4614 阅读 · 2 评论 -
文献阅读笔记—Attention is ALL You Need
本文主要是参考https://yq.aliyun.com/articles/342508?utm_content=m_39938https://mchromiak.github.io/articles/2017/Sep/12/Transformer-Attention-is-all-you-need/#positional-encoding-pe将互相缺少的融合到一起,略微加了点其他东...原创 2018-09-03 19:35:55 · 2715 阅读 · 0 评论 -
文献阅读笔记—Improving Language Understanding by Generative Pre-Training
迁移学习在nlp领域的应用之pretrain language representation,四连载,建议按顺序看,看完对该方向一定会非常清楚的!(一)ELMO:Deep contextualized word representations(二)Universal Language Model Fine-tuning for Text Classification(三)openAI ...原创 2018-11-06 22:03:01 · 7668 阅读 · 1 评论 -
文献阅读笔记—BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding
迁移学习在nlp领域的应用之pretrain language representation,四连载,建议按顺序看,看完对该方向一定会非常清楚的!(一)ELMO:Deep contextualized word representations(二)Universal Language Model Fine-tuning for Text Classification(三)openAI ...原创 2018-11-07 13:13:52 · 3026 阅读 · 0 评论 -
文献阅读笔记—Universal Language Model Fine-tuning for Text Classification
迁移学习在nlp领域的应用之pretrain language representation,四连载,建议按顺序看,看完对该方向一定会非常清楚的!(一)ELMO:Deep contextualized word representations(二)Universal Language Model Fine-tuning for Text Classification(三)openAI ...原创 2018-11-05 21:42:25 · 4401 阅读 · 2 评论 -
依存句法分析—A Fast and Accurate Dependency Parser using Neural Networks
一、问题描述这是一篇使用神经网络来做依存句法分析的经典文章,传统的依存句法分析特征向量稀疏,特征向量泛化能力差,特征计算消耗大,用神经网络做transition-based贪心模型可以缓解上述问题,准确率提高,速度变快。由于源代码是java写的,所以本人看了用tensorflow改写的代码,但是该代码存在一些问题,只预测是LEFT-ARC,RIGHT-ARC,SHIFT中的一种(即三分类),但...原创 2019-01-02 19:25:00 · 4347 阅读 · 5 评论 -
知识图谱_关系抽取_文献笔记(二)
本文介绍一篇18年EMNLP的文章Neural Relation Extraction via Inner-Sentence Noise Reduction and Transfer Learning。对知识图谱关系抽取前世了解一下,再来看今天的文章哦。还需了解一下用神经网络做依存句法分析。一、问题描述这篇文章是做知识图谱中的关系抽取的,创新点有三个:1. 通过Sub-Tree Par...原创 2019-01-02 21:16:18 · 3254 阅读 · 2 评论 -
词向量训练skipgram的python实现
skipgram的原理及公式推倒就不详细说了,主要记录一下第一个正向传播和反向传播都自己写的神经网络,也终于体验了一把负采样对于词向量训练速度的惊人提升,感人!虽然最终的时间复杂度依然较高,不过我正在研究同样使用python的gensim为啥这么快的原因!(明天有时间会把)数据和代码放在本人的github里,写的比较搓,待改进...1.工具介绍python: 3.6电脑:mac本地...原创 2019-05-21 22:41:40 · 3711 阅读 · 2 评论