西欧阿哥-CSDN博客

原创 NLP--文本丶语义匹配方法概述详解

文本匹配和语义匹配1、什么是文本匹配？文本匹配是自然语言处理中一个重要的基础问题，可以应用于大量的NLP任务中，如信息检索、问答系统、复述问题、对话系统、机器翻译等，这些NLP任务在很大程度上可以抽象为文本匹配问题。例如网页搜索可抽象为网页同用户搜索Query的一个相关性匹配问题，自动问答可抽象为候选答案与问题的满足度匹配问题，文本去重可以抽象为文本与文本的相似度匹配问题。2、文本匹配方法概述2-1 传统文本匹配方法传统的文本匹配技术有BoW、VSM、TF-IDF、 BM25、Jaccord、S

2021-04-06 15:28:38 4596 1

原创 NLP分词算法深度研究综述

NLP底层任务----分词算法简介NLP的底层任务由易到难大致可以分为词法分析、句法分析和语义分析。分词是词法分析（还包括词性标注和命名实体识别）中最基本的任务，可以说既简单又复杂。说简单是因为分词的算法研究已经很成熟了，大部分的准确率都可以达到95%以上，说复杂是因为剩下的5%很难有突破，主要因为三点：粒度，不同应用对粒度的要求不一样，比如“苹果手机”可以是一个词也可以是两个词歧义，比如“下雨天留人天留我不留”未登录词，比如“skrrr”、“打call”等新兴词语然而，在真实的应用中往往

2020-12-24 09:34:09 405

原创语义网简介，常见的知识图谱应用场景

知识图谱简介及应用场景知识图谱最早是谷歌提出来的，又可以叫语义网，用来描述真实世界中存在的各种实体或概念及其关系，构成一张巨大的语义网络图，结点表示实体或概念，边由属性或关系构成。谷歌最早搞知识图谱是为提高搜索结果的质量。知识图谱是一种特殊的图数据，由 <实体，关系，实体> 或者 <实体，属性，属性的值> 三元组构成。知识图谱中每个结点都有若干个属性及其属性值，实体与实体之间的边表示结点之间的关系，边的指向表示关系的方向，边上的标记表示关系的类型。下面介绍几个基本概念1、实

2020-11-24 14:54:29 1204

原创 NLP ---文本表示---词向量（机器能够进行计算的数字）

文本表示的概述在NLP(自然语言处理)领域，文本表示是第一步，也是很重要的一步，通俗来说就是把人类的语言符号转化为机器能够进行计算的数字，因为普通的文本语言机器是看不懂的，必须通过转化来表征对应文本。早期是基于规则的方法进行转化，而现代的方法是基于统计机器学习的方法。数据决定了机器学习的上限,而算法只是尽可能逼近这个上限，在本文中数据指的就是文本表示，所以，弄懂文本表示的发展历程，对于NLP学习者来说是必不可少的。接下来开始我们的发展历程。文本表示分为离散表示和分布式表示：为什么要进行文本表示（1）

2020-11-20 15:37:53 1127

原创深度学习算法--Attention（注意力机制）

最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。本文以机器翻译为例，深入浅出地介绍了深度学习中注意力机制的原理及关键计算机制，同时也抽象出其本质思想，并介绍了注意力模型在图像及语音等领域的典型应用场景。注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理

2020-11-11 09:46:15 9152

原创解决梯度消失梯度爆炸强力推荐的一个算法-----GRU（门控循环神经⽹络）

LSTM的一种变体或优化----GRU在循环神经⽹络中的梯度计算⽅法中，我们发现，当时间步数较⼤或者时间步较小时，循环神经⽹络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但⽆法解决梯度衰减的问题。通常由于这个原因，循环神经⽹络在实际中较难捕捉时间序列中时间步距离较⼤的依赖关系。**门控循环神经⽹络（gated recurrent neural network）**的提出，正是为了更好地捕捉时间序列中时间步距离较⼤的依赖关系。它通过可以学习的⻔来控制信息的流动。其中，门控循环单元（gated

2020-11-10 15:16:32 1989

原创解决梯度消失梯度爆炸强力推荐的一个算法-----LSTM（长短时记忆神经网络）

LSTM（长短时记忆）应为在简单的RNN（vanilla RNN结构）中存在时序过长时会导致梯度消散，梯度爆炸的问题，而长短时记忆LSTM就是解决vanilla RNN中的不足，可以有效的减少梯度消散问题。LSTM 中引⼊了3个⻔，即遗忘⻔（input gate）、输入⻔（forget gate）和输出⻔（output gate），以及与隐藏状态形状相同的记忆细胞（某些⽂献把记忆细胞当成⼀种特殊的隐藏状态），从而记录额外的信息。LSTM关键：“细胞状态”细胞状态类似于传送带。直接在整个链上运行，

2020-11-10 15:10:38 1104

原创本章总结---循环神经网络（RNN），欢迎一起来学习~

本章用3年NLP学习经验总结，西欧阿哥毕生心血什么是循环神经网络循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在以序列（sequence）数据为输出，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）它并⾮刚性地记忆所有固定⻓度的序列，而是通过隐藏状态来存储之前时间步的信息。为什么有BP神经网络、CNN，还需要RNN?因为PB,CNN

2020-11-10 14:56:56 675

原创深度学习(Deep Learning)——卷积神经网络 (Convolutional Neural Networks / CNN)

一、卷积神经网络的概述1、卷积神经网络与普通神经网络非常相似，它们都由具有可学习的权重w和偏置常量(biases)的神经元组成。每个神经元都接收一些输入，并做一些点积计算，输出是每个分类的分数，普通神经网络里的一些计算技巧到这里依旧适用。普通神经网络把**输入层和隐含层进行“全连接(Full Connected)“**的设计。从计算的角度来讲，相对较小的图像从整幅图像中计算特征是可行的。但是，如果是更大的图像（如 96x96 的图像），要通过这种全联通网络的这种方法来学习整幅图像上的特征，将变得非常

2020-11-10 14:06:02 1584

原创实际应用中常用的相似度计算方法详解--图解--通俗易解

相似度计算总结 + 图解在数据分析和数据挖掘以及搜索引擎中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。常见的比如数据分析中比如相关分析，数据挖掘中的分类聚类（K-Means等）算法，搜索引擎进行物品推荐时。相似度就是比较两个事物的相似性。一般通过计算事物的特征之间的距离，如果距离小，那么相似度大；**如果距离大，那么相似度小。**比如两种水果，将从颜色，大小，维生素含量等特征进行比较相似性。问题定义：有两个对象X,Y,都包含N维特征，X=(x1,x2,x3,………,xn),Y=(y

2020-11-02 17:38:12 1436

原创文本匹配相似度计算---多种距离算法，多种相似度计算算法，一看就懂

常见的距离算法和相似度（相关系数）计算方法总结摘要1.常见的距离算法1.1欧几里得距离（Euclidean Distance）根据两用户之间共同评价的Item为维度，建立一个多维的空间，那么通过用户对单一维度上的评价Score组成的坐标系X（s1,s2,s3……，si）即可定位该用户在这个多维度空间中的位置，那么任意两个位置之间的距离Distance(X,Y)（即：欧式距离）就能在一定程度上反应了两用户兴趣的相似程度。欧氏距离越小，两个用户相似度就越大，欧氏距离越大，两个用户相似度就越小。计算

2020-11-02 17:22:39 4152

原创【模型详解】Auto-Encoder 详解--- 总结AE自编码，本章通俗易懂

自动编码器(AE,DAE,CAE,SAE)的方法介绍与简单实现自动编码器(Auto-Encoders, AE)1986年Rmelhart提出自动编码器的概念，将其高维复杂数据处理，促进了神经网络的发展。自编码神经网络是一种无监督（自监督）学习算法，它使用了反向传播算法，并让目标值等于输入值自编码分类及特点：自动编码器降噪自编码器推叠降噪自动编码器卷积自动编码器变分自编码自编码器的共同点：学习一个与输入相同的输出，并尽可能的让其具有较强的泛化能力深度自编码器能够更好的学习书籍更高维度

2020-10-09 08:57:10 4364

原创 Seq2seq + Attention 模型图详解

Seq2seq模型图详解简书本文通过图片，详细地画出了seq2seq+attention模型的全部流程，帮助小伙伴们无痛理解机器翻译等任务的重要模型。seq2seq 是一个Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列， Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。接下来开始刷图吧！大框架想象一下翻译任务，input是一段英文，output是一段中文。公式：详细图

2020-09-22 11:45:23 863

原创从零开始构建BERT，BERT图解

先介绍BERT模型要做什么，即：模型的输入、输出分别是什么，以及模型的预训练任务是什么；然后，分析模型的内部结构，图解如何将模型的输入一步步地转化为模型输出；最后，我们在多个中/英文、不同规模的数据集上比较了BERT模型与现有方法的文本分类效果。1. BERT模型的输入/输出BERT模型的全称是：BidirectionalEncoder Representations from Transformer。从名字中可以看出，BERT模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的Repre

2020-09-10 21:34:18 500

原创大热的Bert就是基于Transformer构建？本章为Transformer详解

简介Attention Is All You Need是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN ，目前大热的Bert就是基于Transformer构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向。Transformer总体结构和seq2seq模型一样，Transformer模型中也采用了 encoer-decoder 架构。但

2020-09-05 08:28:26 765

Western_europe