![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 62
涛涛北京
结构建设
展开
-
GPT开始引起人们的注意力了
GPT发展史原创 2023-02-20 11:02:47 · 509 阅读 · 0 评论 -
【NLP】-概率模型
1. HMM-隐马尔科夫模型具有马尔科夫属性的概率有向图1.1 两个空间三组参数状态空间:隐状态S的取值范围观测空间:观测状态O的取值范围发射概率:初始状态的概率分布,记做π转移概率:不同状态之间的转移概率,可以用转移矩阵表示,记做a输出概率:基于当前状态,不同输出的概率分布,记做b模型参数λ = (a, b, π)1.2 两个假设1、 齐次假设:即马尔科夫假设2、 观测独...原创 2020-04-30 16:51:26 · 599 阅读 · 0 评论 -
【NLP】语言模型、Transformer
一、词袋二、Word_embedding三、预训练模型3.1:ELMO 解RNN的语言模型就是预测下一个token,训练好了之后,推知上下文不同,那么同一个token的表示也不同。也可以双向:不同隐层的weight sum3.2 BertBERT-任务1 语义相近词语的理解:1、由于语义相近的词语语境类似,而其embedding语境的综合结果,故相似。2、就算相似也...原创 2020-04-29 15:39:52 · 475 阅读 · 0 评论