论文笔记
Terry_dong
我只是个搬运工
展开
-
机器学习研究者的养成指南,吴恩达建议这么读论文
如何成为一名高效的机器学习研究者,然后在这个领域取得一些成就?在此之前,我们需要养成什么样的习惯?近日,一篇发布在 Reddit 机器学习版块的帖子引发了众人的讨论。近日,一位网友在 Reddit 上发帖提问:「那些高效的机器学习研究者,都有什么样的习惯?」比如,在 Arxiv 上时时跟进最新的研究,利用睡觉时间训练模型,以及充分利用 Stack Overflow。其他的呢?其实,世界上从不缺少优秀的机器学习研究者,也不缺乏好的建议和指南。想要成为一名高效的机器学习研究者,...原创 2020-07-08 15:22:21 · 314 阅读 · 0 评论 -
卷积神经网络和Word Embeddings 在中文分词领域的应用
Convolutional Neural Network withWord Embeddings for Chinese Word Segmentation近年来,许多基于特征的神经模型已被应用于CWS。虽然已经有很好的表现了,但是都有两大缺点:第一,分词模型很大程度需要依赖人工设计bigram特征,不能自动捕获n-gram特征。第二,分词模型不能最大程度上使用完整的字信息。基于第一个缺...原创 2018-12-12 19:15:27 · 1443 阅读 · 0 评论 -
NLP中的self-attention【自-注意力】机制
随着注意力机制的深入研究,各式各样的attention被研究者们提出。在2017年6月google机器翻译团队在arXiv上放出的《Attention is all you need》论文受到了大家广泛关注,自注意力(self-attention)机制开始成为神经网络attention的研究热点,在各个任务上也取得了不错的效果。本人就这篇论文中的self-attention以及一些相关工作进行了学...转载 2018-12-16 22:19:39 · 4432 阅读 · 1 评论 -
注意力机制(Attention Mechanism)在自然语言处理中的应用
注意力机制(Attention Mechanism)在自然语言处理中的应用 近年来,深度学习的研究越来越深入,在各个领域也都获得了不少突破性的进展。基于注意力(attention)机制的神经网络成为了最近神经网络研究的一个热点,本人最近也学习了一些基于attention机制的神经网络在自然语言处理(NLP)领域的论文,现在来对attention在NLP中的应用进行一个总结,和大家一起分享...转载 2018-12-16 22:26:12 · 690 阅读 · 0 评论