邓蹇超-CSDN博客

原创 [机器学习] 小傻学HMM：嚼烂HMM

[机器学习] 小傻学HMM：嚼烂HMM1 基本概念介绍1.1 HMM1.1.1 参数定义2.2 二个假设三种问题2 公式推导2.1 question1：Evaluation计算过程：后向算法计算过程：Learning 问题Decoding 问题1 基本概念介绍1.1 HMM马尔可夫链（Markov link）：一种特殊的随机过程，其随机性只与当前状态有关，与过往已发生的状态和将来可能发生的状态都无关隐马尔可夫链（hidden Markov method）：用来描述一个变化状态是隐藏的，且是离散的马尔

2020-10-14 11:11:51 95

原创 [机器学习] 小傻学EM：嚼烂EM算法

[机器学习] 小傻学EM：嚼烂EM算法EM 算法Jenson（琴生）不等式：E 步，导出Q函数EM 算法Jenson（琴生）不等式：若f为凸函数，有：f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)f(tx_1 + (1 - t) x_2) \leq tf(x_1) + (1 - t) f(x_2)f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)其中t∈[0,1]t\in [0, 1]t∈[0,1],同理，若f为凹函数，只需将上式中的≤变为≥即可。\le

2020-09-17 12:00:07 130

原创 [nlp] 小傻学数据预处理

nlp-数据预处理分词分词工具拼写纠错停用词过滤词的标准化分词分词工具Jieba分词 https://github.com/fxsjy/jiebaSnowNLP https://github.com/isnowfy/snownlpLTP http://www.ltp-cloud.com/HanNLP https://github.com/hankcs/HanLP/拼写纠错停用词过滤词的标准化...

2020-09-06 15:17:52 650

原创 [nlp] LDA主题模型

[nlp] LDA主题模型1 what is LDA?2 LDA构建流程?2.1 LDA生成过程2.2 LDA整体流程2.2.1 字母定义2.2.2 学习过程References1 what is LDA?LDA: Latent Dirichlet Allocatio, 文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。生成模型：我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到

2020-09-01 14:10:15 293

原创 [nlp] 小傻学transfomer-XL

[nlp] 小傻学Transfomer-XLwhat is Transfomer-XL?why Transfomer-XL?the architecture of Transfomer-XL循环机制相对位置编码优点不足codeothersReferenceswhat is Transfomer-XL?在传统Transfomer中的segment间引入RNN机制：将上一个segment计算好的hidden state进行存储，在计算下一个segment时将上一个segment的这些信息融入到当前segme

2020-09-01 09:01:29 108

原创 [nlp] 小傻学百度ERNIE

[nlp] 小傻学百度ERNIEwhat is ERNIEwhy ERNIE?ERNIE 1.0简介创新点：其他细节：ERNIE 2.0the architecture of ERNIE2.0连续多任务学习多任务训练任务1: 词法级别预训练任务任务2：语言结构级别预训练任务任务3：语法级别预训练任务结论what is ERNIEERNIE：Enhanced Representation through knowledge integration (Baidu)why ERNIE?通过实体和短语ma

2020-08-31 22:27:15 142

原创 [nlp] 小傻学XLNet

[nlp] 小傻学XLNetwhat is XLNet?why XLNet?the architecture of XLNetAR & AEAR（Autoregressive LM，GPT）AE（Autoencoder LM，BERT）comparePermutation Language Model双流自注意力codeothers与bert比较Referenceswhat is XLNet?XLNet：Generalized Autoregressive Pretraining for Lan

2020-08-31 22:15:52 145

原创 [nlp] 小傻学bert

[nlp] 小傻学bertwhat is bert?与其他词向量关系why bert?bert general goalthe architecture of bertbert核心思想input & output句子拆分表示why subword？pre-train(Task 1)：Masked LMpre-train(Task 2)：Next Sentence Prediction (NSP）Fine-tuning参数codeothersbert每一层都学到了什么bert变体bert VS GPT

2020-08-28 11:19:23 187

原创 [nlp] 小傻学transformer

nlp-transformerwhat is transformer?attention后续阅读why transformer?the strength of transformertransformer效率提升the architecture of transformerEncodermulti-head attentionwhy multi-headthe architecture of multi-headScaled Dot-Product Attention自注意力计算步骤多头计算说明Decode

2020-08-27 09:00:05 246

原创 [机器学习] 小傻学集成学习

集成学习-Ensemble什么是集成学习集成模型思想集成学习策略Max VotingAveragingWeighted AveragingstackingbaggingboostingBagging VS Boosting什么是集成学习集成学习也叫分类器集成，通过构建并结合多个学习器来完成学习任务。一般结构：先产生一组“个体学习器”，再用某种策略将他们结合起来。结合策略主要有平均法、投票法和学习法等。集成模型思想三个臭皮匠顶个诸葛亮。弱分类器：分类能力不起那个，但其效果又比随机选但效果稍微好一点

2020-08-26 19:32:19 145

djc_1992的博客