nlp
关注
分享
扫一扫
文章平均质量分 92
笑给我看
学生一枚~ 励志成为人工智能工程师
展开
-
任务型charbot
任务型chatbot的基本流程得到得到通知ASRNLUintentemtityDSTDPLNLGTTSNLU识别Intent和Entity，不同的intent可以设计不同的slot，讲 Entity填充到slot中DST(对话状态跟踪)负责监视对话的状态，同时进行多轮对话来填充完整slot，也起到了上下文对话的影响。DST包含不同的方法包括有限状态机， 也可以使用增强学习和强化学...原创 2019-10-15 13:29:52 · 407 阅读 · 1 评论 -
Xl-net
XL-NETXl-net结合了AR（自回归模型）与AE（去噪自编码模型）的有特点AR擅长生成类任务，也就意味着只能利用前向或者后向的文本，不能同时兼顾上下文，这也就是AR的最大的劣势Xl-net与bert的关系AE旨在从损坏的输入中来重建数据，比如在预训练的时候使用MASK以一定的概率进行替换单词，从而实现可以兼顾上下文。但是人为添加MASK标记在真实情况下是不存在的，所以导...原创 2019-11-06 14:16:40 · 417 阅读 · 0 评论 -
从句法树中提取特征
句法树我们把一个句子构建成语法树(CKY算法构建)SNPNPNMicrosoftVVPisVPPlocatedPNinUSANP：名词短语P：介词PP：介词短语V：动词N：名词内部节点都是可以拆分的，叶子节点不可以拆分从句法树中提取特征除了一般的特征工程之外，还可以从里面提取一些特征。我们面对的是一棵树，所以我们可以提取最大路径再比如我们关注的点在Microsof...原创 2019-10-15 14:49:49 · 822 阅读 · 0 评论 -
seq2seq
真正的完全图解Seq2Seq Attention模型转载 2019-02-23 15:02:54 · 165 阅读 · 0 评论 -
HMM和Viterbi算法
HMM模型和Viterbi算法转载 2019-03-09 21:35:38 · 281 阅读 · 0 评论 -
ELMO
ELMOJay Alammar大佬的博客迁移学习NLP：BERT、ELMo等直观图解嵌入（Embedding）的新时代词嵌入一直是影响NLP模型处理语言的主要力量。Word2Vec和Glove等方法已被广泛用于此类任务。Word2Vec让我们可以使用一个向量（一个数字列表）以一种捕获语义相关关系的方式正确表示单词（例如，判断单词是相似的，判断还是在它们之间具有的关系，如“开罗”和“埃及”...原创 2019-04-05 14:11:38 · 268 阅读 · 0 评论 -
Transformer
Transformer先放一个jalammar博客transformer总体结构为什么有多个encoder呢？：从下往上可以提取表层的词法信息 -> 抽象的语义信息encoder到decoder的部分就是attention部分，进行信息传递和交互encoder和decoder的数量是一样的encoder结构什么是attention？：语言学角度：描述词与词的...原创 2019-04-05 21:49:36 · 346 阅读 · 0 评论 -
【潜在语义分析】LSI/LSA
LSA 背景介绍文本挖掘中，主题模型。聚类算法关注于从样本特征的相似度方面将数据聚类。比如通过数据样本之间的欧式距离，曼哈顿距离的大小聚类等。而主题模型，顾名思义，就是对文字中隐含主题的一种建模方法。比如从“人民的名义”和“达康书记”这两个词我们很容易发现对应的文本有很大的主题相关度，但是如果通过词特征来聚类的话则很难找出，因为聚类方法不能考虑到到隐含的主题这一块。那么如何找到隐含...原创 2019-05-10 13:38:09 · 1485 阅读 · 0 评论 -
Bert理论笔记
观b站bert理论视频笔记Transformer之前讲的很多了，再多说一点：对于位置编码，使用的是相对位置编码，这样可以保证比较好的相对的位置关系。对于decoder部分不经存在self-attention还有encoder-decoder-attention，并且decoder部分使用mask，防止看到后面的信息（为下三角） （作弊）。处理的并行计算的问题，因此可以计算很多的层数；en...原创 2019-08-28 20:20:49 · 824 阅读 · 0 评论 -
Bert-实战
参考BERT fine-tune 终极实践教程Bert 实战bert在主要分为两个任务：一、训练语言模型和预训练部分（run_pretraining.py），二、训练具体任务的fine-turning部分(run_classifier.py适用于分类情况/run_squad.py适用于问答情况)一、 下载预训练模型， 预训练模型可以在google的开源界面找到，对于中文可以直接下载对应...原创 2019-09-18 18:22:23 · 2535 阅读 · 0 评论 -
知识图谱
图数据库包含节点和关系节点：有属性（键值对形式存储），也可以有多个标签关系：有名字和方向，并总是有一个开始节点和结束节点neo4j图数据库在neo4j目录输入start启动，在浏览器输入localhost:7474进入界面APOC组件需要安装：apoc-3.4.0.3-all.jarmysql-connector-java-5.1.21.jarAPOC的...原创 2019-10-09 17:19:33 · 345 阅读 · 1 评论 -
Attention model
目前主流的attention方法都有哪些？转载 2019-01-30 21:58:08 · 149 阅读 · 0 评论 -
吴恩达序列模型学习记录
GRU里面的c和a是相等的，这和LSTM不一样LSTM这里使用的时a和x一起来计算门值（遗忘门，更新门，输出门）,注意使用的tanh和sigmoid注意到上面的这条红线，只要确定的设置了遗忘门和更新门，LSTM就可以很容易把c0传递到右边，这就是为什么GRU和LSTM可以实现才能长时间的记忆的原因什么时候用GRU什么时候用LSTM没有统一的准则，而且在历史上，LSTM也是更...原创 2019-01-30 21:22:52 · 203 阅读 · 0 评论 -
HAN分层注意网络
HAN 结构*输入词向量序列后，通过词级别的Bi-GRU后，每个词都会有一个对应的Bi-GRU输出的隐向量h，再通过uwu_wuw向量与每个时间步的h向量点积得到attention权重，然后把h序列做一个根据attention权重的加权和，得到句子summary向量s2，每个句子再通过同样的Bi-GRU结构再加attention得到最终输出的文档特征向量v向量，然后v向量通过后级dens...原创 2019-02-08 10:57:27 · 1361 阅读 · 0 评论 -
Word2Vec和Doc2Vec模型
Word2VecWord2Vec是Google在2013年开源的一款将词表征为实数值向量的高效工具，采用的模型有CBOW(Continuous Bag-Of-Words，即连续的词袋模型)和Skip-Gram 两种。Word2Vec通过训练，可以把对文本内容的处理简化为K维向量空间中的向量运算，而向量空间上的相似度可以用来表示文本语义上的相似度。因此，Word2Vec 输出的词向量可以被用来做...转载 2019-01-12 23:44:14 · 786 阅读 · 0 评论 -
使用LDA对文档主题进行建模
LDA 简介LDA认为一篇文档由一些主题按照一定概率组成，一个主题又由一些词语按照一定概率组成。早期人们用词袋模型对一篇文章进行建模，把一篇文档表示为若干单词的计数。无论是中文还是英文，都由大量单词组成，这就造成词袋向量的维数巨大，少则几千多则上万，在使用分类模型进行训练时，非常容易造成训练缓慢以及过拟合。LDA本质上把词袋模型进行了降维，把一篇文档以主题的形式进行了表示。主题的个数通常为几百...原创 2019-01-24 22:51:25 · 1698 阅读 · 0 评论 -
TextCNN模型原理与实践
可参见:用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践1、模型原理Yoon Kim在论文Convolutional Neural Networks for Sentence Classification中提出TextCNN模型将卷积神经网络CNN应用到文本分类任务，利用多个不同size的kernel来提取句子中的关键信息（类似于多窗口大小的ngra...原创 2019-01-25 11:19:48 · 744 阅读 · 0 评论 -
中文分词原理及分词工具介绍*
中文分词原理及分词工具介绍转载 2019-01-21 18:53:02 · 642 阅读 · 0 评论 -
CRF模型在NLP中的运用*
CRF模型在NLP中的运用转载 2019-01-21 18:56:07 · 349 阅读 · 0 评论 -
高级词向量表达（二）——FastText（简述）*
高级词向量表达（二）——FastText（简述）转载 2019-01-21 18:57:48 · 206 阅读 · 0 评论 -
字符级别的文本分类器**
GitHub项目链接地址：text-classification-cnn-rnn分别使用采用CNN、RNN两种网络实现该项目中CNN表现的效果更加好一点，这种基本不是原意的字符级别的特征，也能从统计意义上表征文本从而作为特征...原创 2019-01-21 19:02:55 · 277 阅读 · 0 评论 -
TextRNN及与其他模型的组合
首先复习一下基础的RNN结构如下所示开始正题一、LSTM模型LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。就是所谓的该记得会一直传递，不该记得就被“忘记”。LSTM“记忆细胞”变得稍微复杂了一点1.1 细胞状态细胞状态类似于传送带。直接在整个链上运行，只有一些少量的...原创 2019-01-28 23:24:40 · 620 阅读 · 0 评论 -
FastText
FastText：快速的文本分类器转载 2019-01-22 21:36:19 · 156 阅读 · 0 评论 -
N-gram模型和Smothing
自然语言处理中N-Gram模型的Smoothing算法原创 2019-02-02 23:19:35 · 260 阅读 · 0 评论 -
Noisy Channel模型
Noisy Channel模型纠正单词拼写错误转载 2019-02-02 23:29:45 · 497 阅读 · 0 评论 -
NLP语料库收集
中文文本分类的新闻语料库汉语句义结构标注语料库WaCKyLeipzig Corpora 布朗语料库阿里云教程中心语料库原创 2018-11-16 20:41:39 · 537 阅读 · 0 评论