![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp
文章平均质量分 97
ForcedOverflow
弱小和无知不是生存的障碍,傲慢才是。
展开
-
EM算法原理和实现的学习总结
文章目录0. 写在前面(学习过程总结)1. EM算法的原理2. EM算法的公式推导3. EM算法的代码实现(双硬币问题为例子)0. 写在前面(学习过程总结)我的数学基础不好,所以EM算法折腾了不少时间才真正理解。我对EM算法的理解过程经历了如下几个阶段:看《统计学习方法》上的第9章 EM算法及其推广,对EM算法需要解决的问题和原理有了一个初步的印象;(这个时候其实并不是完全明白)根据 EM算法整理及其python实现 这篇博客,再梳理一遍原理,然后敲了一遍代码。(这个时候已经对EM中 e-s原创 2021-04-02 14:42:19 · 609 阅读 · 0 评论 -
microsoft 的gpt2模型源码学习记录
相关链接:gpt2论文传送门microsoft Deepspeed gpt2源码传送微软 Deepspeed 中集成的 gpt2 代码感觉比 haggingface 的代码可读性要强很多,这里只用作代码结构的学习,暂时忽略其中模型分片并行的部分。(虽然感觉直接把精华给忽略了Orz)1. GPT2模型概述GPT2 是2018年发布的预训练模型,使用超过40G的近8000万的网页文本数据对模型进行训练。GPT-2 可以理解成是由 transforer 的decoder 堆叠成的,输入是 word原创 2021-03-23 01:50:42 · 2417 阅读 · 0 评论 -
LSTM+attention 古诗下句生成
原文首发在wx公众号上:附庸风雅,不如train个模型和古人对诗生成模型一直是我认为的非常有意思的东西,记得以前同事搞过一个生成藏头诗的模型,可以根据输入的名字来生成藏头诗,当时就感觉非常有趣。前两天又和朋友聊起来生成模型,朋友说他做了个诗词生成的实验,效果还蛮不错的,于是自己也想实验一下试试。先来看下生成效果,感觉还不错:1. 训练语料准备github上有很多整理好的开源的诗词资源,这里选择了 chinese-poetry 这个开源的库,里面的诗词非常多,足以用作生成模型的训练语料了。js原创 2020-11-16 13:14:42 · 1213 阅读 · 1 评论