m0_37565948的博客

Rasa NLU基础

Rasa系列教程

一、Transformer简介 Transformer是google团队在2017年提出来的，它的问世刷新了一系列NLP竞赛的结果，现在也成为各大NLP爱好者的首选结构，诸如ELMO、Bert等超牛的model都是在transform的思想上实现的。 Transformer的基本结构如下图所示，详情可以参考我的另一篇博客：二、NLP四部曲...

本文从词嵌入出发，一步步介绍Bert出现的背景，故文章前一部分的介绍可能与Bert的相关性不强，但是必不可少。1、词向量       词向量一直是领先的NLP模型处理语言的主要能力。Word2Vec、Glove等方法已广泛应用于此类任务。让我们先回顾一下如何使用它们。        对于要由机器学习模型处理的单词，它们需要以某种数字形式表示，以便模型可以在其计算中使用。Word2Vec...

本文边讲细节边配合代码实战，代码地址为：https://github.com/princewen/tensorflow_practice/tree/master/basic/Basic-Transformer-Demo数据地址为：https://pan.baidu.com/s/14XfprCqjmBKde9NmNZeCNg密码:lfwu1、Attention发展史 ...

话不多说，直接上干货。首先介绍相关概念：词嵌入：把词映射为实数域上向量的技术也叫词嵌入（word embedding）。词向量的分类表示：一、共现矩阵       通过统计一个事先指定大小的窗口内的word共现次数，以word周边的共现词的次数做为当前word的vector。具体来说，我们通过从大量的语料文本中构建一个共现矩阵来定义word representation。...

       最近在研究nlp中的命名实体识别，针对读过的一些文章在此做个总结。       对于NER的方法，主要分为两大类：基于规则的方法和基于统计的方法。    （1）基于规则的方法更接近人的思维，例如，针对人名常见的规则：<姓氏>+<名字>、针对地名常见的规则：<地方部分>+<地方指示词>、针对组织名常见的规则：{[人名][地名][组...