深度学习
文章平均质量分 74
河鳗404
喜欢编程!偶然发现python的美,最近转战python
展开
-
CRF三大问题举例计算(以词性标注举例)
CRF三大问题举例计算(以词性标注举例)目录CRF三大问题举例计算(以词性标注举例)0. 相关设定:1. 学习问题(Learning problem):问题描述:解决方式:梯度下降法整体流程:score计算的流程:E:发射分数矩阵(E[i, i] = s(yi, Xi) * μl)T:转移分数矩阵(T[i-1, i] = t(yi-1, yi) * λk)所有取值大于0的分数存在形成观测序列O的部分可能的状态序列I及分数计算(略去了起始为VV的可能,)2. 概率推断问题(marginal probabil原创 2021-07-31 00:56:09 · 560 阅读 · 0 评论 -
HMM三大问题举例计算(以词性标注举例)
HMM三大问题举例计算(以词性标注举例)目录HMM三大问题举例计算(以词性标注举例)0. 相关设定:1. 学习问题(Learning problem):问题描述:解决方式:极大似然估计(EM)Π:初始状态转移概率B:观测概率矩阵A:状态转移矩阵存在形成观测序列O的所有可能的状态序列I及可能性计算2. 条件概率推断问题(Conditional inference problem)问题描述:解决方式:前向/后向算法3. 解码问题(MAP inference problem)问题描述:解决方式:维特比算法0.原创 2021-07-30 17:47:02 · 259 阅读 · 0 评论 -
Bert注意力计算过程的维度变化分析
Bert注意力计算过程的维度变化分析代码分析目标:了解Bert注意力计算过程中的维度变化变量相关说明源码分析代码分析目标:了解Bert注意力计算过程中的维度变化变量相关说明变量batch_sizesequence_lenself.num_attention_headsconfig.hidden_size含义解释单批次训练量单序列长度抽头个数Bert隐层大小符号定义BSNH取值举例B: 32S: 128N: 8H: 768源码分析#原创 2021-07-29 16:34:55 · 1241 阅读 · 1 评论