![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 67
自然语言处理相关讲解
木大木打木大
专门搞nlp的
展开
-
交叉熵函数推导
交叉熵的推导1.最大似然何为最大似然?哲学上有句话叫做“存在就是合理的”,最大似然的意思是“存在就是最合理的”。具体来说,如果事件XXX的概率分布为p(X)p(X)p(X),如果一次观测中具体观测到的值分别为X1,X2,…,XnX_1,X_2,…,X_nX1,X2,…,Xn,并假设它们是相互独立,那么P=∏i=1np(Xi)(1)\mathcal P=\prod_{i=1}^np(X_i) \tag{1}P=i=1∏np(Xi)(1)是最大的。如果p(X)p(X)p(X)是一个带有参数原创 2021-05-12 21:28:06 · 794 阅读 · 0 评论 -
阿里天池大赛脱敏多标签文本分类初赛20名方案分享
github原创 2021-04-10 11:13:45 · 1186 阅读 · 0 评论 -
词向量,embedding到底怎么回事?
Embedding字面意思:嵌入官方定义:Embedding是离散实例连续化的映射(了解)简单来说,把现实事物转为计算机可以处理的向量介绍现在主流的 Embedding 技术,主要分三大块:(了解一下即可)经典的矩阵分解方法: SVD 方法等基于内容的 embedding 方法:涉及到 NLP 相关的文本 embedidng 方法,包括静态向量 embedding(如 word2vec、GloVe 和 FastText)和动态向量 embedding(如 ELMo、GPT 和 BERT) 简原创 2021-03-13 19:24:36 · 1063 阅读 · 2 评论 -
企业级聊天机器人对话系统
演示地址 【自制】企业级聊天机器人对话系统原创 2021-01-18 16:51:07 · 1337 阅读 · 3 评论 -
如何用自己的数据集进行bert预训练
本实验在colab环境下进行原创 2020-07-22 14:17:02 · 8964 阅读 · 1 评论 -
理解Attention注意力的本质(附代码讲解与案例)
##注:阅读本文之前需要对RNN结构有了解1级标题什么是注意力(attention)?当我们想起‘注意力’(attention)这个词时,我们知道这意味着它会引导你专注于某个事物并引起更大的注意。像黑体加粗就是一种注意力。注意力机制在深度学习中则意味着在处理数据时我们会对某些因素(factors)给予更多的注意。在更广的层面上看,attention是网络结构的一个组成,并由它负责管理和量化...原创 2020-04-26 13:59:19 · 4946 阅读 · 0 评论