- 博客(2)
- 收藏
- 关注
RSS订阅原创 xlnet
本文主要简析XLNet模型的动机，核心实现过程，以及优缺点。 一. 动机 目前，无监督表示学习中最成功有两种模型：AR自回归模型和AE自编码模型。自回归模型采用上文或下文信息预测当前词。典型模型例如GPT，ELMO，其中ELMO采用了两个方向自回归模型，本质上同样属于自回归。缺点在于不能同时利用上文或下文信息。而自编码模型属于利用上下文信息预测当前词信息，典型模型如BERT，在输入中随机Mask掉一部分单词，训练时根据上下文单词来预测被Mask的单词。缺点在于预训练任务和真实场景之间存在偏差。因此，为了利用
2021-01-06 20:44:20
318
1
原创 聚类
本文旨在讲解k-mean算法前，对聚类算法的原理进行剖析。 一. 说明和假设 以例题入手进行剖析。 样本分布函数假设为正态分布。 二. 参数估计 首先考虑样本的混合密度为 p(x∣θ)=∑j=1cp(x∣ω,θi)P(ωi) p(x|\theta)=\sum_{j=1}^c p(x|\omega,\theta_i)P(\omega_i) p(x∣θ)=j=1∑cp(x∣ω,θi)P(ωi) 则样本集的联合概率密度为： p(D∣θ)=∏k=1np(xk∣θ) p(D|\theta)=\prod_{
2020-12-07 12:59:50
141
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人