u014203254的博客

一. AttentionAttention函数的本质可以被描述为一个查询（query）到一系列（键key-值value）对的映射。在计算attention时主要分为三步，第一步，是将query和每个key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；第二步，使用一个softmax函数对这些权重进行归一化；第三步，将权重和相应的键值value进行加权求和得到最后的attention。二. Self-Attention对于self-attention来讲，Q(...

欢迎转载，转载请注明出处https://www.cnblogs.com/huangyc/p/10043749.html欢迎沟通交流： 339408769@qq.com0. 目录1. 前言 2. 知识图谱定义 3. 数据类型和存储方式 4. 知识图谱的架构 4.1 逻辑架构 4.2 技术架构 5. 信息抽取 5.1 实体抽取(Entity Extraction) ...

从古老的one-hot表示法，到大热的Word2vec系列的分布式表示方法，再到现在惊艳的预训练模型ELMo、BERT等，技术迭代迅速，这其中包含许多内容需要我们学习，例如语言模型LM、Transformer、CBOW、SkipGram等等。接下来本文归纳梳理，逐一介绍。目录1、词的表示1、词的表示1.1 离散表示（one-hot representation）把每个...

自然语言处理中的自注意力机制（Self-attention Mechanism）近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p/5952032.html）。随着注意力机制的深入研究，各式各样的attention被研究者们提出...

目前，有很多开源或开放的自然语言处理工具可以供我们使用，可以方便地解决很多NLP的基础任务，例如，分词、词性标注、词干化、命名实体识别、名词短语提取等等。汇总起来方便比较，择优而用。目录1. HanLP2. SpaCy1. HanLP提供了中文依存句法分析功能。支持多种自然语言处理基本功能。Github 地址：https://github.com/hankcs/p...

本文将总结句法分析的相关内容。自然语言处理的分析技术，可以大致分为三个层面。第一层是词法分析，包括分词（Word Segmentation）、词性标注（Part-of-speech Tagging）、命名实体识别（Named Entity Recognition）、词义消歧（Word Sense Disambiguation）。第二层为句法分析（syntactic parsing），句...