![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp入门
文章平均质量分 75
aliez_银
学渣,致力于机器瞎学、数据掩埋、人工智障、深度遗忘
展开
-
自然语言处理入门理论知识
一、什么是自然语言处理自然语言处理(Natural Language Processing,NLP)是人工智能领域的主要内容,研究用电子计算机模拟人的语言交际过程,使计算机能理解和运用人类社会的自然语言,实现人机之间的自然语言通信,以代替人的部分脑力劳动,包括查询资料、解答问题、摘录文献、汇编资料以及一切有关自然语言信息的加工处理。1.1 自然语言处理的过程自然语言处理的基础:词法分析,语法分析,语义分析第一步:分析源语言(文本理解) 通过词法分析,语法分析,语...原创 2021-06-24 11:24:03 · 6252 阅读 · 0 评论 -
Attention,Multi-head Attention--注意力,多头注意力详解
Attention首先谈一谈attention。注意力函数其实就是把一个query,一个key-value的集合映射成一个输出。其中query,key,value,output(Attention Value)都是向量。输出是values的加权求和,是query与当前key的相关程度。Attention 函数的本质可以被描述为: 一个查询(query)到一个系列(键key-值value)对的映射。例如:计算A与B的attention,就是用A的Q与B的K-V来计算。Scaled Do原创 2021-03-26 18:21:26 · 43245 阅读 · 3 评论