![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 93
爱编程的喵喵
双985硕士毕业,现担任AI大模型全栈工程师一职,热衷于将数据思维应用到工作与生活中。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。官方认证“人工智能领域优质创作者”,入选2023年中国开发者影响力年度榜单,荣获付费内容优质创作者称号。代表专栏《Python基础课程》、《Linux解决方案》、《Windows实用技巧》、《机器学习理论与实战》、《从零开始学Java》等。
展开
-
attention-mask
参考链接:https://blog.csdn.net/weixin_40901056/article/details/97514718 def mask(inputs, queries=None, keys=None, type=None): """Masks paddings on keys or queries to inputs inputs: 3d tensor. (N, T_q, T_k) queries: 3d tensor. (N, T_q, d) keys:原创 2020-08-14 14:06:15 · 1008 阅读 · 7 评论 -
朴素贝叶斯 & n-gram模型
1. 朴素贝叶斯原创 2020-04-23 10:58:56 · 443 阅读 · 5 评论 -
word2vec理论
1.word2vec原创 2020-04-23 10:55:25 · 452 阅读 · 6 评论 -
自然语言处理基本概念、词向量发展、语言模型
1. 基本概念 1. 1 语料库&词典 一般语料库就是很多篇文章(可能一篇文章有好几句话,也可能只有一句话),在实际业务中,每篇文章一般要先进行分词 词典:语料库中词的种类数,即有多少个词,一般用|V|表示 树中根节点就是最上面那个,叶子结点就是结果(如分类的标签),结点泛指所有(包括根节点、叶子结点) 2. 词向量:one-hot 对于y ...原创 2020-04-06 23:04:30 · 462 阅读 · 8 评论 -
attention机制总结2
1.注意力机制的计算流程 前一篇博客中,我们以具体的实例(论文)介绍了注意力机制。注意力机制看似复杂,但本质上基本相同。 attention机制都可泛化成上图所示:给定值value(可以暂时理解成输入,也可以是rnn后的输出)和查询query向量q,计算key与q的注意力分布并附加在value上,最终得到最终的attention向量。具体步骤如下所示: 1 ...原创 2019-11-28 10:02:55 · 451 阅读 · 5 评论