![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
文章平均质量分 92
笑给我看
学生一枚~ 励志成为人工智能工程师
展开
-
任务型charbot
任务型chatbot的基本流程得到得到通知ASRNLUintentemtityDSTDPLNLGTTSNLU识别Intent和Entity,不同的intent可以设计不同的slot,讲 Entity填充到slot中DST(对话状态跟踪)负责监视对话的状态,同时进行多轮对话来填充完整slot,也起到了上下文对话的影响。DST包含不同的方法包括有限状态机, 也可以使用增强学习和强化学...原创 2019-10-15 13:29:52 · 391 阅读 · 1 评论 -
Xl-net
XL-NETXl-net结合了AR(自回归模型)与AE(去噪自编码模型)的有特点AR擅长生成类任务,也就意味着只能利用前向或者后向的文本,不能同时兼顾上下文,这也就是AR的最大的劣势Xl-net与bert的关系AE旨在从损坏的输入中来重建数据,比如在预训练的时候使用MASK以一定的概率进行替换单词,从而实现可以兼顾上下文。但是人为添加MASK标记在真实情况下是不存在的,所以导...原创 2019-11-06 14:16:40 · 400 阅读 · 0 评论 -
从句法树中提取特征
句法树我们把一个句子构建成语法树(CKY算法构建)SNPNPNMicrosoftVVPisVPPlocatedPNinUSANP:名词短语P:介词PP:介词短语V:动词N:名词内部节点都是可以拆分的,叶子节点不可以拆分从句法树中提取特征除了一般的特征工程之外,还可以从里面提取一些特征。我们面对的是一棵树,所以我们可以提取最大路径再比如我们关注的点在Microsof...原创 2019-10-15 14:49:49 · 803 阅读 · 0 评论 -
seq2seq
真正的完全图解Seq2Seq Attention模型转载 2019-02-23 15:02:54 · 150 阅读 · 0 评论 -
HMM和Viterbi算法
HMM模型和Viterbi算法转载 2019-03-09 21:35:38 · 266 阅读 · 0 评论 -
ELMO
ELMOJay Alammar大佬的博客迁移学习NLP:BERT、ELMo等直观图解嵌入(Embedding)的新时代词嵌入一直是影响NLP模型处理语言的主要力量。Word2Vec和Glove等方法已被广泛用于此类任务。Word2Vec让我们可以使用一个向量(一个数字列表)以一种捕获语义相关关系的方式正确表示单词(例如,判断单词是相似的,判断还是在它们之间具有的关系,如“开罗”和“埃及”...原创 2019-04-05 14:11:38 · 251 阅读 · 0 评论 -
Transformer
Transformer先放一个jalammar博客transformer总体结构为什么有多个encoder呢?:从下往上可以提取表层的词法信息 -> 抽象的语义信息encoder到decoder的部分就是attention部分,进行信息传递和交互encoder和decoder的数量是一样的encoder结构什么是attention?:语言学角度:描述词与词的...原创 2019-04-05 21:49:36 · 330 阅读 · 0 评论 -
【潜在语义分析】LSI/LSA
LSA 背景介绍文本挖掘中,主题模型。聚类算法关注于从样本特征的相似度方面将数据聚类。比如通过数据样本之间的欧式距离,曼哈顿距离的大小聚类等。而主题模型,顾名思义,就是对文字中隐含主题的一种建模方法。比如从“人民的名义”和“达康书记”这两个词我们很容易发现对应的文本有很大的主题相关度,但是如果通过词特征来聚类的话则很难找出,因为聚类方法不能考虑到到隐含的主题这一块。那么如何找到隐含...原创 2019-05-10 13:38:09 · 1446 阅读 · 0 评论 -
Bert理论笔记
观b站bert理论视频笔记Transformer之前讲的很多了,再多说一点:对于位置编码,使用的是相对位置编码,这样可以保证比较好的相对的位置关系。对于decoder部分不经存在self-attention还有encoder-decoder-attention,并且decoder部分使用mask,防止看到后面的信息(为下三角) (作弊)。处理的并行计算的问题,因此可以计算很多的层数;en...原创 2019-08-28 20:20:49 · 800 阅读 · 0 评论 -
Bert-实战
参考BERT fine-tune 终极实践教程Bert 实战bert在主要分为两个任务:一、训练语言模型和预训练部分(run_pretraining.py),二、训练具体任务的fine-turning部分(run_classifier.py适用于分类情况/run_squad.py适用于问答情况)一、 下载预训练模型, 预训练模型可以在google的开源界面找到,对于中文可以直接下载对应...原创 2019-09-18 18:22:23 · 2498 阅读 · 0 评论 -
知识图谱
图数据库包含节点和关系节点:有属性(键值对形式存储),也可以有多个标签关系:有名字和方向,并总是有一个开始节点和结束节点neo4j图数据库在neo4j目录输入start启动,在浏览器输入localhost:7474进入界面APOC组件需要安装:apoc-3.4.0.3-all.jarmysql-connector-java-5.1.21.jarAPOC的...原创 2019-10-09 17:19:33 · 323 阅读 · 1 评论 -
Attention model
目前主流的attention方法都有哪些?转载 2019-01-30 21:58:08 · 143 阅读 · 0 评论 -
吴恩达序列模型学习记录
GRU里面的c和a是相等的,这和LSTM不一样LSTM这里使用的时a和x一起来计算门值(遗忘门,更新门,输出门),注意使用的tanh和sigmoid注意到上面的这条红线,只要确定的设置了遗忘门和更新门,LSTM就可以很容易把c0传递到右边,这就是为什么GRU和LSTM可以实现才能长时间的记忆的原因什么时候用GRU什么时候用LSTM没有统一的准则,而且在历史上,LSTM也是更...原创 2019-01-30 21:22:52 · 192 阅读 · 0 评论 -
HAN分层注意网络
HAN 结构*输入词向量序列后,通过词级别的Bi-GRU后,每个词都会有一个对应的Bi-GRU输出的隐向量h,再通过uwu_wuw向量与每个时间步的h向量点积得到attention权重,然后把h序列做一个根据attention权重的加权和,得到句子summary向量s2,每个句子再通过同样的Bi-GRU结构再加attention得到最终输出的文档特征向量v向量,然后v向量通过后级dens...原创 2019-02-08 10:57:27 · 1340 阅读 · 0 评论 -
Word2Vec和Doc2Vec模型
Word2VecWord2Vec是Google在2013年开源的一款将词表征为实数值向量的高效工具,采用的模型有CBOW(Continuous Bag-Of-Words,即连续的词袋模型)和Skip-Gram 两种。Word2Vec通过训练,可以把对文本内容的处理简化为K维向量空间中的向量运算,而向量空间上的相似度可以用来表示文本语义上的相似度。因此,Word2Vec 输出的词向量可以被用来做...转载 2019-01-12 23:44:14 · 767 阅读 · 0 评论 -
使用LDA对文档主题进行建模
LDA 简介LDA认为一篇文档由一些主题按照一定概率组成,一个主题又由一些词语按照一定概率组成。早期人们用词袋模型对一篇文章进行建模,把一篇文档表示为若干单词的计数。无论是中文还是英文,都由大量单词组成,这就造成词袋向量的维数巨大,少则几千多则上万,在使用分类模型进行训练时,非常容易造成训练缓慢以及过拟合。LDA本质上把词袋模型进行了降维,把一篇文档以主题的形式进行了表示。主题的个数通常为几百...原创 2019-01-24 22:51:25 · 1665 阅读 · 0 评论 -
TextCNN模型原理与实践
可参见:用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践1、模型原理Yoon Kim在论文Convolutional Neural Networks for Sentence Classification中提出TextCNN模型将卷积神经网络CNN应用到文本分类任务,利用多个不同size的kernel来提取句子中的关键信息(类似于多窗口大小的ngra...原创 2019-01-25 11:19:48 · 725 阅读 · 0 评论 -
中文分词原理及分词工具介绍*
中文分词原理及分词工具介绍转载 2019-01-21 18:53:02 · 628 阅读 · 0 评论 -
CRF模型在NLP中的运用*
CRF模型在NLP中的运用转载 2019-01-21 18:56:07 · 336 阅读 · 0 评论 -
高级词向量表达(二)——FastText(简述)*
高级词向量表达(二)——FastText(简述)转载 2019-01-21 18:57:48 · 195 阅读 · 0 评论 -
字符级别的文本分类器**
GitHub项目链接地址:text-classification-cnn-rnn分别使用采用CNN、RNN两种网络实现该项目中CNN表现的效果更加好一点,这种基本不是原意的字符级别的特征,也能从统计意义上表征文本从而作为特征...原创 2019-01-21 19:02:55 · 268 阅读 · 0 评论 -
TextRNN及与其他模型的组合
首先复习一下基础的RNN结构如下所示开始正题一、LSTM模型LSTM(Long Short-Term Memory)是长短期记忆网络,是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。就是所谓的该记得会一直传递,不该记得就被“忘记”。LSTM“记忆细胞”变得稍微复杂了一点1.1 细胞状态细胞状态类似于传送带。直接在整个链上运行,只有一些少量的...原创 2019-01-28 23:24:40 · 599 阅读 · 0 评论 -
FastText
FastText:快速的文本分类器转载 2019-01-22 21:36:19 · 144 阅读 · 0 评论 -
N-gram模型和Smothing
自然语言处理中N-Gram模型的Smoothing算法原创 2019-02-02 23:19:35 · 246 阅读 · 0 评论 -
Noisy Channel模型
Noisy Channel模型纠正单词拼写错误转载 2019-02-02 23:29:45 · 483 阅读 · 0 评论 -
NLP语料库收集
中文文本分类的新闻语料库汉语句义结构标注语料库WaCKyLeipzig Corpora 布朗语料库阿里云教程中心语料库原创 2018-11-16 20:41:39 · 506 阅读 · 0 评论