NLP
文章平均质量分 64
c-minus
对机器学习、深度学习等领域方面的研究颇有兴趣
展开
-
XLNet模型
你真的懂XLNet吗?一、概述 近日,随着GPT-3模型的新鲜出炉,NLP领域似乎正朝着“烧钱+烧数据”的方向一去不返。从18年的BERT,到19年XLNet,再到如今的GPT-3,烧钱模式愈演愈烈,NLP似乎已经不适合穷人研究了,调参侠的生存空间被严重挤压。尽管如此,在如今开口不提BERT就不好意思说自己是NLPer的时代,我们还是很有必要对这些模型进行深入的了解的。本文主要是借着课程需要的契机,非常非常非常非常详细的介绍XLNet模型。至于XLNet的源码,看情况考虑是否阅读。二、背景知识原创 2020-06-18 19:08:57 · 1453 阅读 · 4 评论 -
文本相似度相关工作调研(二)
《Short Text Similarity With Word Embeddings》论文解释一、概要 本文主要介绍基于词嵌入的短文本相似度计算方法。相比较于其他方法,这种方法的特点在于:几乎不需要任何外部知识(例如不需要语法分析等)不需要手工构造特征此方法计算的是语义相似度,并不是语法或者词型相似度(另一篇文章中提高到LCS、编辑距离等)能够利用多种方式、多种语料获得的词向量(...原创 2019-11-13 14:20:56 · 471 阅读 · 0 评论 -
文本相似度相关工作调研(一)
A Survey Of Text Similarity Approach(本文翻译自上述文献)方法分为四种string-based,corpus-based,knowledge-based,Hybrid Similarity MeasureIntroduction: lexical similarity: string-based semantic similarity: cor...原创 2019-11-12 17:15:10 · 608 阅读 · 0 评论 -
CRF代码及实现原理(二)
主要介绍CRF代码实现代码来源:pytorch官网代码链接: https://pytorch.org/tutorials/beginner/nlp/advanced_tutorial.html配合另一篇文章讲解,看此篇之前,最好看一下另一篇文章(CRF原理以及维特比解码),看完之后会很容易理解另一篇文章链接:https://blog.csdn.net/cpluss/article/det...原创 2019-03-26 17:38:39 · 5357 阅读 · 0 评论 -
CRF代码实现及原理(一)
CRF:条件随机场(Conditional Random Field)什么样的问题需要CRF模型如果我们的数据是一个序列,后面的结果受到前面结果的影响,此时就需要我们使用CRF模型。例如,我们假设把一个人的日常生活拍成照片,而一张张着嘴的照片我们无法判断他是吃饭还是在唱歌(or 其他),但是如果这张照片之前有其他照片显示为餐桌、米饭等,我们则基本可以判定他在吃饭;如果显示为ktv,则基本可以判...原创 2019-03-26 16:51:23 · 10003 阅读 · 1 评论 -
EM算法详解
EM Expectation-Maxium详细推导参考:https://www.cnblogs.com/pinard/p/6912636.htmlEM算法想要解决的问题我们想要求解模型的未知参数,一般可以利用极大化模型的对数似然函数。但是有的问题不仅模型参数未知,而且还存在其他的未知的隐含数据,这个时候就不能直接利用极大化似然函数了。这个时候,我们的思路是,对于两种未知变量(待求的模型参数...原创 2019-03-26 12:39:16 · 415 阅读 · 0 评论 -
Bert代码详解(二)
这是bert的pytorch版本(与tensorflow一样的,这个更简单些,这个看懂了,tf也能看懂),地址:https://github.com/huggingface/pytorch-pretrained-BERT主要内容在pytorch_pretrained_bert/modeling文件中。由于这几天要参见计算所复试,超级紧张,所以先把草稿贴在这里,复试过了再加以完善!!!嘤嘤...原创 2019-03-12 12:30:08 · 7018 阅读 · 2 评论 -
Bert代码详解(一)
这是bert的pytorch版本(与tensorflow一样的,这个更简单些,这个看懂了,tf也能看懂),地址:https://github.com/huggingface/pytorch-pretrained-BERT 主要内容在pytorch_pretrained_bert/modeling文件中。由于这几天要参见计算所复试,超级紧张,所以先把草稿贴在这里,复试过了再加以完善!!!嘤嘤...原创 2019-03-12 12:23:09 · 29697 阅读 · 39 评论 -
Self-attention
一、背景 本人在阅读大神文章《Attention is all you need》的过程中,遇到了有关attention方面的内容,尤其是对于self-attention方面的内容饶有兴趣,于是做了许多调查,下面是我的一些总结。二、基本知识 1、Attention Mechanism 本文主要讲解Self_attention方面的...原创 2018-12-28 19:43:20 · 21586 阅读 · 8 评论 -
InferSent——有监督的语句嵌入模型
目录 一、概述二、原理三、总结一、概述英语原文链接:https://pan.baidu.com/s/1GTlSjQGSPd-Om6nLrpa7Pw 密码:f6o5英文论文名称:《Supervised learning of universal sentence representations from natural language inference data》...原创 2018-08-06 21:01:50 · 6900 阅读 · 1 评论 -
Quick thoughts:一种新型、有效的sentence vector模型
目录 一、概要二、原理一、概要英文原文链接:https://pan.baidu.com/s/1FwqOzn7kdDAiYpOHACQzEQ 密码:sjsa英文论文名称:《An efficient framework for learning sentence representations》本文主要提出了一种新的方法来实现sentence2vec,实际上则是对skip ...原创 2018-08-06 17:49:34 · 3999 阅读 · 1 评论 -
ELMo——一种新型的词嵌入方法
目录 一、概要二、双向语言模型三、线性组合一、概要英语论文原文参考链接:https://pan.baidu.com/s/1g7lKZoefFmNy8GXgH5CDNg 密码:hq2n英文论文名称:《Deep contextualized word representations》ELMo为复杂词语应用(语法或语义)和语言语义建模(例如一词多义)。这句话我也不好翻译,...原创 2018-08-06 13:18:36 · 10233 阅读 · 2 评论 -
Paragraph2vec(段向量)-------基于《Distributed Representations of Sentences and Documents》
目录一、概要1)背景2)摘要二、内容1)传统的bag of words2)本文的paragraph vector3)算法(1)word2vec的算法原理(2)paragraph vector算法三、总结一、概要1)背景本文是我学习word2vec和paragraph2vec之后写下的一篇文章,如有错误,请指正以共同学习。2)摘要parag...原创 2018-08-02 13:05:54 · 5226 阅读 · 3 评论 -
anaconda权限不够时安装第三方包
一般情况下直接:pip install packge_name 或者conda install packge_name但如果用到第三方包,例如jieba,就会出现问题。pip会出现权限不够,conda会找不到包。此时采用pip install --user packge_name就可以了...原创 2018-07-27 21:56:33 · 3688 阅读 · 0 评论 -
numpy-1.14.5+mkl-cp35-cp35m-win_amd64 网盘下载(原网址过慢)
链接:https://pan.baidu.com/s/1VsKIAIwdO6DKQrx_JetyMg 密码:01zg原创 2018-07-25 18:13:56 · 4747 阅读 · 2 评论 -
卷积层以及池化层的输出维度
在学习tensorflow时,总是对各种各样的参数烦的死去活来,尤其是卷积核的长宽高步长什么的,特别“迷人”。因此本人搜索了很多的资料,进行了综合,并加上了自己的理解,供大家学习参考。一、输入的四个维度1)batch_size:说白了,就是图片的个数。2)height/weight:图片的高和宽。3)channels:图片的通道数,黑白照片就是1,RGB就是3。例如我们的输入是...原创 2018-08-15 20:28:57 · 11023 阅读 · 3 评论