自然语言处理
lipengyuer
人工智能从业者
展开
-
注意力机制到底是什么——基于常识的基本结构介绍
摘要:注意力机制(Attention Mechanism)是人们在机器学习模型中嵌入的一种特殊结构,用来自动学习和计算输入数据对输出数据的贡献大小。本文以一个基于注意力机制的机器翻译模型为例,从人的直觉、中英文翻译的常识、特征工程等角度,对注意力机制的思想和机理进行了阐述;并介绍了一种常见的注意力机制实现形式,即基于感知机的注意力机制;还介绍了一种比较经典的注意力机制,即自注意力机制(self-a...原创 2020-04-28 19:38:48 · 4828 阅读 · 1 评论 -
一个简单的文字类作品版权保护装置
1 引言我当初决定在知乎里写博客,目的是以“费米学习法”的形式,将学习过程和成果可视化、量化。这个目的很单纯。公元2020年4月份的某个上午,阳光明媚,我在网上冲浪的时候,突然发现有一篇博客似曾相识——不,就是我写的。问题是,博客标注的作者不是我,这是怎么回事呢?抄袭或者盗用。连洗稿都懒得做一下,成何体统!在学习的时候,我们需要为自己设计一个激励机制。在这个激励机制中,学有所获就会有正...原创 2020-04-27 19:27:13 · 364 阅读 · 0 评论 -
常见文本相似度计算方法简介
本文首发于知乎(https://zhuanlan.zhihu.com/p/88938220),主要介绍了文本相似度计算的基本思路和常用方法。原创 2020-04-25 20:51:16 · 8224 阅读 · 1 评论 -
命名实体识别的一点经验
最近做了一点微小的工作,搞了下命名实体识别(named entity recongnition, NER),这里总结一下目前的认识。内容比较杂,先亮一下目录,如图0-1.标题1什么是命名实体1.1什么是实体实体(entity)指客观存在、并可相互区别的事物(https://baike.baidu.com/item/%E5%AE%9E%E4%BD%93/422661)。...原创 2020-04-25 21:54:14 · 1984 阅读 · 1 评论