自然语言
文章平均质量分 76
王哈哈嘎哈呢
在前进的路上,自我补足,继续前进
展开
-
06 隐马尔科夫
HMM(隐马尔可夫模型)原博文地址写在最前面隐马尔可夫模型(Hidden Markov Model,HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析,例如模式识别。是在被建模的系统被认为是一个马尔可夫过程与未观测到的(隐藏的)的状态的统计马尔可夫模型。下面用一个简单的例子来阐述:假设我手里有三个不同的骰子。第一个骰子是我们平常见的骰子(称这个骰子为D6),6个面,每个面(1,2,3,4,5,6)出现的概原创 2020-05-24 18:31:24 · 140 阅读 · 0 评论 -
05 seq2seq和Attention
1、seq2seqseq2seq模型是以编码(Encode)、解码(Decode)为代表的架构方式模型。编码(Encode)将输入序列转化成一个固定长度的向量(语义向量C)解码(Encode)将固定长度的向量(语义向量C)转化成一个输出序列编码方式:一般为多层LSTM解码方式:一般为RNN、CNN等问题:由于seq2seq模型在编解码阶段,使用由一个不变的语义向量C来联系,编码器要将整个序列的 信息压缩进一个固定长度的向量中去,就造成1.语义向量无法完全表示真个序列的信息2.最开始输原创 2020-05-24 16:49:55 · 220 阅读 · 0 评论 -
04 简单的文本分类
传统的文本分类方法特征工程分类器深度学习文本分类方法文本的分布式表示:词向量(word embedding)深度学习文本分类模型:FastText、TextCNN、TextRNN、TextRNN+Attention待续04原创 2020-05-15 22:47:56 · 243 阅读 · 0 评论 -
01简单的文本表示
简单的说:就是将文本转化成向量,由字符转化成向量。怎么将文本转化成向量就是文本表示的核心。优点:1、方便计算机对文本进行处理。2、方便进行机器学习,传统的机器学习和深度学习都需要。3、良好的文本表示形式可以极大地提高算法效率。文本表示:1、基于粒度分类:长文本表示短文本表示(句子)词表示2、基于表示方法分类:离散表示one-hot《向量长度非常大,有明显的稀疏性问题》Multi-hot分布式 基于矩阵类降维聚类分布式 基于神经网络CBOWSkip-gram离散表示原创 2020-05-15 22:30:49 · 175 阅读 · 0 评论 -
02自然语言模型NLP
1、定义:自然语言模型是一个计算单词序列(句子)的概率模型。其实就是判断一个句子的合理性。例如:我今天要去【上班】我今天要去【游泳】我今天要去【爬山】通过语言模型计算出去【上班】 的概率最大,得出我今天要去爬【上班】N-Gram常用的有BiGram和TriGram,相当于一个滑动窗口,用于计算窗口内词(字)顺序的概率句子的概率通常是通过待预测单词之前长度为n的窗口建立条件概率来进行预测,此处引入马尔科夫假设为了估算条件概率,常用极大似然估计解释:bigram是n=2《s》后面是原创 2020-05-14 21:50:52 · 883 阅读 · 0 评论 -
03(2)word2vec理论知识
当数据量大的时候,一般使用Skip-Gram模型当数据量小的时候,一般使用层次softmax模型一、CBOW模型词袋子模型层次softmax负例采样1、词袋子模型词袋子模型是去掉了隐藏层,使用了一个上下文窗口,将映射层的乘法变为的加法缺点:无法解决多义词问题<每个词都有唯一的编码>2、层次softmax<两边预测中间>使用Huffman Tree编码...原创 2020-04-16 23:44:53 · 180 阅读 · 0 评论 -
03(1)word2vec简单的理解
前言word2vec也叫word embeddings,中文名“词向量”,作用就是将自然语言中的字词转为one-hot形式的类型, 只是不单单是01000的形式了。word2vec是从大量的文本语料中以无监督的方式学习语言知识的一种模型。当文本语料库中语料很大的时候,使用one-hot形式,会产生很高的维度,不利于计算,通过过word2vec训练一个低维词向量就解决掉维度高的麻烦了,不得不说...原创 2020-04-16 20:39:44 · 448 阅读 · 0 评论