AI论文解读
文章平均质量分 92
AI
王小小小草
人工智能、机器学习、深度学习、自然语言处理、程序媛
展开
-
文献分享 |【文本表征系列】句子分布式嵌入向量的动态总结
作者:王小草 背景介绍 最近对句子的分布式嵌入向量做了些许调研,前程往事自不必多提,未来之事也无需多虑,本文只聚焦于2015年-2018年最近4年最为典型的文献予以介绍和推荐,若读者在工作中有接触和应用更好的方法,跪求您给我留言建议哦,不胜感激。 词嵌入或词表征,是用具有语义相似性的向量来表征自然语言中的词语。以此类推,句子嵌入或句子表征,就是用向量来表征自然语言中的句子,使得向量中携带着句子的语...原创 2019-01-07 16:41:18 · 2218 阅读 · 0 评论 -
跨语言词嵌入模型调研报告
作者:王小草 1. 跨语言词嵌入介绍__ 3 1.0前言__ 3 1.1 what? 3 1.2 why? 3 1.3 how? 3 1.3.1 how to achieve? 3 1.3.1 how to evaluate? 3 2. 跨语言词嵌入实现方法的分类方式说明__ 4 3. 跨语言词嵌入实现方法详细介绍__ 4 3.1 词对齐+并行数据__ 4 3.1....原创 2019-01-07 16:37:44 · 4999 阅读 · 2 评论 -
论文解读|【Densenet】密集连接的卷积网络(附Pytorch代码讲解)
@[t oc] 1 简单介绍 论文题目:Densely Connected Convolutional Networks 发表机构:康奈尔大学,清华大学,Facebook AI 发表时间:2018年1月 论文代码:https://github.com/WangXiaoCao/attention-is-all-you-need-pytorch pytorch代码:https://github....原创 2018-11-11 15:16:34 · 26579 阅读 · 11 评论 -
发布一年了,做NLP的还有没看过这篇论文的吗?--“Attention is all you need”
笔记作者:王小草 日期:2018年10月30日 欢迎关注我的微信公众号“AI躁动街” 1 Background 说起深度学习和神经网络,图像处理一呼百应的“卷积神经网络CNN“也好,还是自然语言处理得心应手的”循环神经网络RNN”,都简直是脍炙人口、妇孺皆知。前者助力处理高维特征,后者聚焦掌控序列记忆,时而分道而行,时而也互相取暖,但也终是各司其职,自有短长。 然而,在深度学习中,还有一个不可...原创 2018-10-30 12:20:31 · 1581 阅读 · 7 评论 -
文献笔记|【文本表征】BERT
论文信息: 论文题目:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文发表时间:2018年10月11日 机构:Google AI 简介 文献解决的问题:提出一个语言表征的模型,叫BERT(Bidirectional Encoder Representations from Tra...原创 2018-10-31 11:14:00 · 4157 阅读 · 0 评论 -
论文分享|【词向量专题】中文词嵌入最新进展
分布式的词嵌入(word embedding)将一个词表征成一个连续空间中的向量,并且有效地挖掘了词的语义和句法上的信息,从而被作为输入特征广泛得应用于下游的NLP任务(比如:命名实体识别,文本分类,情感分析,问答系统等等)。CBOW,skip-gram 和Glove模型算是最热的最受青睐的方法来进行词嵌入的学习了。后来人们又在这三个模型的基础上发明了各种变体来提高词嵌入的质量。 今天要介绍...原创 2018-08-10 15:09:16 · 2704 阅读 · 0 评论 -
2018 AAAI | 概括与提升双语词向量映射:线性转换的多步框架
笔者:王草 日期:2018年7月29日 1 背景知识 在讲述论文之前,笔者为大家简单地讲解一下论文要解决的核心问题。对跨语言词嵌入有了解的朋友可以直接跳过这一节。 2013年Mikolov等提出了分布式的词向量表征word2vec,即将一个词用一个低维向量来表示,词与词之间的相似性可以通过向量之间的相关性表示。随后word2vec在众多自然语言处理(NLP)的任务中大放光彩,备受青睐。 ...原创 2018-07-29 15:22:33 · 1599 阅读 · 1 评论 -
还在为没有中文训练数据而头痛你的NLP任务吗?是时候看看这篇文章了~
编者:王小草 时间:2017年7月18日 1 摘要 近期对于跨语言词嵌入的研究虽然已经不再需要并行数据,但是仍然要依赖于相似语料或者强相关的语言。这篇论文 1)利用词嵌入的结构相似性提出了一个完全无监督的初始化解,2)并且提出一个鲁棒的自学习算法来迭代地优化初始化解。作者将论文的方法与其他两个最新的方法进行比较,验证了无监督的方法的优异性,并且在大部分任务上还超越了有监督方法的效果。 ...原创 2018-07-18 20:02:31 · 2402 阅读 · 2 评论 -
文献分享 |【文本表征系列】句子分布式嵌入向量的动态总结PPT
原创 2019-01-07 16:46:56 · 328 阅读 · 0 评论