![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
邓蹇超
这个作者很懒,什么都没留下…
展开
-
[机器学习] 小傻学HMM:嚼烂HMM
[机器学习] 小傻学HMM:嚼烂HMM1 基本概念介绍1.1 HMM1.1.1 参数定义2.2 二个假设三种问题2 公式推导2.1 question1:Evaluation计算过程:后向算法计算过程:Learning 问题Decoding 问题1 基本概念介绍1.1 HMM马尔可夫链(Markov link):一种特殊的随机过程,其随机性只与当前状态有关,与过往已发生的状态和将来可能发生的状态都无关隐马尔可夫链(hidden Markov method):用来描述一个变化状态是隐藏的,且是离散的马尔原创 2020-10-14 11:11:51 · 114 阅读 · 0 评论 -
[nlp] 小傻学数据预处理
nlp-数据预处理分词分词工具拼写纠错停用词过滤词的标准化分词分词工具Jieba分词 https://github.com/fxsjy/jiebaSnowNLP https://github.com/isnowfy/snownlpLTP http://www.ltp-cloud.com/HanNLP https://github.com/hankcs/HanLP/拼写纠错停用词过滤词的标准化...原创 2020-09-06 15:17:52 · 956 阅读 · 0 评论 -
[nlp] LDA主题模型
[nlp] LDA主题模型1 what is LDA?2 LDA构建流程?2.1 LDA生成过程2.2 LDA整体流程2.2.1 字母定义2.2.2 学习过程References1 what is LDA?LDA: Latent Dirichlet Allocatio, 文档主题生成模型,也称为一个三层贝叶斯概率模型,包含词、主题和文档三层结构。生成模型:我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题,并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布,主题到原创 2020-09-01 14:10:15 · 357 阅读 · 0 评论 -
[nlp] 小傻学transfomer-XL
[nlp] 小傻学Transfomer-XLwhat is Transfomer-XL?why Transfomer-XL?the architecture of Transfomer-XL循环机制相对位置编码优点不足codeothersReferenceswhat is Transfomer-XL?在传统Transfomer中的segment间引入RNN机制:将上一个segment计算好的hidden state进行存储,在计算下一个segment时将上一个segment的这些信息融入到当前segme原创 2020-09-01 09:01:29 · 117 阅读 · 0 评论 -
[nlp] 小傻学XLNet
[nlp] 小傻学XLNetwhat is XLNet?why XLNet?the architecture of XLNetAR & AEAR(Autoregressive LM,GPT)AE(Autoencoder LM,BERT)comparePermutation Language Model双流自注意力codeothers与bert比较Referenceswhat is XLNet?XLNet:Generalized Autoregressive Pretraining for Lan原创 2020-08-31 22:15:52 · 163 阅读 · 0 评论 -
[nlp] 小傻学bert
[nlp] 小傻学bertwhat is bert?与其他词向量关系why bert?bert general goalthe architecture of bertbert核心思想input & output句子拆分表示why subword?pre-train(Task 1):Masked LMpre-train(Task 2):Next Sentence Prediction (NSP)Fine-tuning参数codeothersbert每一层都学到了什么bert变体bert VS GPT原创 2020-08-28 11:19:23 · 434 阅读 · 0 评论 -
[nlp] 小傻学transformer
nlp-transformerwhat is transformer?attention后续阅读why transformer?the strength of transformertransformer效率提升the architecture of transformerEncodermulti-head attentionwhy multi-headthe architecture of multi-headScaled Dot-Product Attention自注意力计算步骤多头计算说明Decode原创 2020-08-27 09:00:05 · 521 阅读 · 0 评论