nlp
乐七_
这个作者很懒,什么都没留下…
展开
-
ltp词性标注
a adjective:形容词 美丽 b other noun-modifier:其他的修饰名词 大型, 西式 c conjunction:连词 和, 虽然 d adverb:副词 很 e exclamation:感叹词 哎 g转载 2021-07-14 22:51:18 · 588 阅读 · 0 评论 -
NLP学习18_Transformer、self attention
TransformerTransformer不是一个时序的模型,但是可以捕获时序的特点任何用到LSTM都可以用Transformer来替代RNN/LSTM的缺陷1、long-term dependency:虽然加了attention,但是还是会出现长期依赖的问题(很遥远的信息被遗忘)2、不能是并行的学习:因为本身就是时序的3、shallow model:从时序的角度看是深度模型,但是从纵向看是一个浅层模型Transformer可以解决上述RNN的问题transformer是一个深度学习模.原创 2020-05-28 10:53:56 · 301 阅读 · 0 评论 -
NLP学习17_Attention
注意力机制用在图像处理、NLP领域看图说话我们要从CNN识别结果中选择一个向量作为meaning vector一般选择倒数第二层的向量,因为倒数第一层的向量更适合分类,而倒数第二层的向量更具泛化能力使用attention:如果要看图说话, 比如我要生成girl这个单词,那么我的关注点肯定是图片中的小女孩,而不是整张图片Seq2Seq编码部分,首先要对每个单词进行pretrain embedding使用网上下载的,比如Glove的vector。每个单词都是一个embedding,使原创 2020-05-25 22:18:04 · 205 阅读 · 0 评论 -
NLP学习16_表示学习、理解深度学习、multimodal learning、Seq2Seq model、Beam Search
表示学习特征工程中对数据的表示就是表示学习对用户信息的表示也是表示学习图像分类中,每一神经层都是一个表示学习,当然最有用的是最后输出层的表示所以说机器学习最重要的就是表示学习好的表示具备哪些特点,然后根据这些特点会延伸出不同的模型,比如PCA、ICA、LDA重点!!如果你对每一种表示方法有一个很深入的了解,知道每种表示的优缺点,那我对于任何一个模型都可以沿着这个思路进行拓展,然后就对一个模型进行了创新,如果效果优于原来的模型,这就是创新点,可以将原来模型作为baseline,进而发出你的论文原创 2020-05-25 10:23:41 · 582 阅读 · 0 评论 -
NLP学习15_RNN、LSTM
RNNCV中对图片的处理,我们可以把图片理解为一个静态数据而比如股票、天气、语音、文本等,都是随时间在变化的数据,叫做时序数据,要处理这些变化的数据,需要RNN这种可以处理时序数据的模型,不同人说“你好”的时长也不一样,所以RNN也可以处理不同时长的数据原始的RNN模型:存在梯度爆炸和消失问题,所以推出了LSTM原理:每个时刻都有一个输入,每个输入都会得到一个中间的表示h,在第二个时刻的h表示会使用到第一个时刻的h最后每一时刻输入都会产生预测y,并计算出损失RNN和HMM区别HMM中对原创 2020-05-24 16:29:41 · 506 阅读 · 0 评论 -
NLP学习14_神经网络、激活函数、损失函数、BP、Plateau、Early stopping
激活函数将线性的计算进行了非线性的处理线性激活函数输入什么输出什么,一般在网络最后一层使用线性转换即使是经过多次转换,因为它没有对输入进行任何操作,所以这种激活函数使用1个和使用N个效果一样sigmoid激活函数将输入映射到0到1 之间,严格递增函数tanhrelu当使用sigmoid时,就是一个逻辑回归模型,所以说逻辑回归是神经网络的一个特例逻辑回归仅仅使用了一个神经元softmax也属于激活函数的范畴,用于分类a(x)这个输出经过了softmax可以进行分类任务,原因.原创 2020-05-24 11:10:44 · 459 阅读 · 0 评论 -
NLP学习13_ELmo、词向量总结
ELmo解决单词考虑上下文,词向量的表示,动态调整词向量。目前来说最好的方法首先我们通过训练集训练已经得到了back词向量,然后在测试集中,如果出现了这个back单词,我们不是直接使用训练好的词向量,而是将训练好的词向量加上一个根据back在测试集出现位置上下文的一个偏移量, 最终得到back词向量是基于当前测试集上下文的。Elmo1、使用了语言模型的训练框架2、使用了深度学习理解deep modeldeep learning 等价于层次结构学习从识别汽车的例子看出,在底层特征中,是一些很微原创 2020-05-23 10:37:40 · 643 阅读 · 0 评论 -
NLP学习12_评估词向量、skipgram的缺点、subword
qwe原创 2020-05-22 23:04:50 · 775 阅读 · 2 评论 -
MLP学习11_分布式表示、word2vec、skip-gram训练过程、NegativeSampling、梯度下降推导
one-hot 编码表示一个单词的缺陷:1、这是一种sparse稀疏表示,整个向量只有一个位置为12、无法表现单词相似度,也就是不能表达语义的相关性(可以表达句子相关性)3、表达能力弱word2vec词向量的优势:1、dense稠密表示2、可以表达语义相关性3、表达能力强4、global generation由此引出词向量表示形式:词向量,分布式表示distributed representation这种表示我们叫dense representation, 一般取300维以内表示,而o原创 2020-05-22 15:25:20 · 546 阅读 · 0 评论 -
THULAC分词工具安装使用
官网下载源码和模型将lite源代码中thulac包放到python pip包下载路径下还需要将模型文件models放到thulac包下调用测试原创 2020-05-20 15:57:45 · 1955 阅读 · 0 评论 -
NLP10_逻辑回归
逻辑回归是经典的baseline要想通过线性回归来表示概率,那概率必须是(0,1)范围,但是显然等式右边是负无穷到正无穷的范围逻辑函数使用逻辑函数作为激活函数通过sigmoid函数,把条件概率的值限定在0-1的范围原始条件概率的范围是不符合概率的定义的,所以要经过逻辑函数,也就是这里用的sigmoid函数,将其概率的范围修改为0-1,满足了概率的定义通过训练已有的数据,得到参数w和b,这样我将特征x输入,经过激活函数处理,就可以得到一个概率二分类条件概率将两个分类写到一个公式逻.原创 2020-05-19 23:00:16 · 327 阅读 · 0 评论 -
NLP09_机器学习、监督学习、模型搭建流程、朴素贝叶斯、系统评估、准确率,精确率召回率,F1-Measure
qwe原创 2020-05-19 15:56:59 · 844 阅读 · 0 评论 -
NLP08_learning分类、专家系统、逻辑推理、解决一个难题的思路
学习的重点是机器学习学习部分可以分为专家系统和基于概率的系统专家系统基于规则实现,概率系统是基于学习的方式做,比如通过深度学习和机器学习的模型专家系统也叫做符号主义概率系统也叫做连接主义目前AI主流发展多的是基于概率的系统,但是专家系统这种解决思路还在大量使用,特别是在金融风控,没有数据的领域。那什么时候该选择哪种系统呢?如果数据量少或者没有时,使用专家系统,设计出一条条规则;如果数据量大,那么使用概率统计系统BI系统:商业智能系统,有大量的数据,BI系统对数据进行整合,并通过数据找到规原创 2020-05-18 23:05:55 · 856 阅读 · 0 评论 -
NLP07_语言模型生成新的数据
Unigram model使用词库,通过训练语言模型得到每个单词的一个概率。通过Unigram model根据单词的概率去生成句子,由于每个单词的概率并没有考虑上下文关系,所以生成的句子看起来并没有什么语法Bigram ModelBigramModel通过训练数据得到的概率考虑单词关系,所以生成的概率组成一个矩阵,最后加一个终止符号通过大量的语料库,我们可以训练出一个语言模型,然后再根据这个语言模型来生成一些有意思的句子,文章,...原创 2020-05-18 21:31:00 · 277 阅读 · 1 评论 -
nltk下载出错问题
下载出错解决直接从百度资源下载https://blog.csdn.net/qq_41595507/article/details/104123975nltk包中数据参考添加链接描述以及官网链接添加链接描述原创 2020-05-17 23:06:37 · 336 阅读 · 0 评论 -
NLP学习06_评估语言模型smoothing
估计语言模型的概率Unigram首先统计语料库中所有的单词个数,然后统计每个单词出现的概率,计算整句的概率但是这种LM中,如果一个句子中的单词在语料库中没有出现,那么这个词的概率为0,这就导致整个句子概率为0这显然是不合适的,用到一个平滑操作,使得虽然概率很小,但是不让它为0Bigram除了第一个单词的概率要通过Unigram计算,其他后边都是条件概率,要先在语料库找到条件词出现的个数然后看这个条件词后跟目标词的个数,统计出概率相乘N-gram由上可知,这种N-gram的语言模型总原创 2020-05-17 10:10:17 · 748 阅读 · 0 评论 -
NLP05_noisy channel model、语言模型、马尔科夫假设
给定一个source,转换成text通过贝叶斯定理,得到如下的公式都是将一个信号来转换成文本信息机器翻译:英译中根据贝叶斯定理,P(英文|中文)表示的是翻译模型, 指的是中文对应的英文翻译,这个是提供好的,通过翻译模型得到的是英到中的对照翻译,不考虑语法P(中文)表示语言模型,用他来保证翻译的语法正确。拼接纠错P(错误|正确)可以表示编辑距离,也就是正确的 和错误的差异P(正确)来保证语法的正确,也就是语言模型语音识别P(语言|给定文本)即翻译,将文本翻译成语音P(文本)保证语法正原创 2020-05-16 21:50:48 · 631 阅读 · 0 评论 -
NLP学习04_词向量、句子向量、倒排表
词向量欧式距离和余弦相似度的方法是无法表达单词之间的语义相似度归为one-hot方式无法表达单词间的语义相似度one-hot的表达方式,如果词典大小是指数级的,那么一个句子的向量表示中,只有少数位置是1,其他位置都是0这就导致了向量稀疏归结one-hot缺点:1、无法表达语义相似度,2、稀疏问题词向量表示法分布式表示法每个单词表示的向量维度不再是等于词典长度,而是自定义的向量中每个位置都有一个非0数值欧式距离的方式在分布式表示方法中可以来比较单词之间的相似度词向量只是分布式表示法原创 2020-05-16 17:05:49 · 953 阅读 · 0 评论 -
NLP学习03_停用词过滤、stemming、文本表示tf-idf、文本相似度
词的过滤:删除没有用的词,具体包括两类:1、停用词过滤,对理解文本没意义的词,a\an2、出现频率低的词过滤过滤要考虑自己的应用场景:比如好、很好等词,在情感分析中这些词很重要,在有些地方是作为停用词的一般是使用别人已经定义好的停用词库,然后进行自己的修改低频词作用不大,还有可能是噪声,所以没必要考虑stemming 英文需要标准化词的标准化操作有两种:stemming,lemmazation比如将went\go 转换为go但是stemming不保证转换出的单词是一个有效的原型,原创 2020-05-16 10:42:35 · 1560 阅读 · 0 评论 -
NLP学习02_最大匹配算法、UniGram LM、Spell Correction
如果没有数据的时候,那只能通过正则或者规则来解决问题但是有些基于概率的方法,必须有一定的数据首先我们要对句子进行切分,使用分词接着进行预处理:拼写纠错、stemming(将不同的单词转换到原型)、停用词过滤(a, an)、单词顾虑()同义词等之后进行文本表示:将文本转换成向量,这样可以使用各种公式去处理。tfidf,word2vec,seq2seq接着计算相似度,给定两个向量计算相似度根据相似度进行排序,排序后返回结果NLP的项目流程分词分词工具最常用的还是jieba,中文分词工原创 2020-05-15 21:51:38 · 1109 阅读 · 1 评论 -
NLP学习、归并排序、主定理分析、动态规划
机器翻译模型将句子切分成单词,然后逐个翻译,由排列组合成若干句子,最后经过语言模型,判断哪句更像人话并输出这种模型的缺点:计算量大, 排列组合数量大,复杂度高viterb算法将翻译模型和语言模型综合考虑,降低了复杂度语言模型概率p的计算:Uni-gram模型,独立计算每个单词的概率Bi-gram模型:每次考虑前一个单词的概率Tri-gram模型:每次考虑前两个单词的概率由此引出n-gram模型机器学习火的原因就是可以同时考虑前边N个单词每个单词的概率是要通过模型提前训练好。马尔.原创 2020-05-13 21:49:51 · 569 阅读 · 0 评论