![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
AlphaU
这个作者很懒,什么都没留下…
展开
-
万物皆可Embedding--oneHot编码
万物皆可Embedding–oneHot编码原创 2021-12-09 00:06:20 · 654 阅读 · 0 评论 -
Bert遇见文本分类
首先简要介绍下bert中涉及到的有关技术点 ,Self-Attention、Multi-Headed、Positional Embedding、Layer normalization。Self-Attention,主要是构建三个矩阵Query,Key,Value来确定当前位置的字或词(以下均以字代替)对句子所起的权重,换一句话说就是根据当前位置和句子进行点积相似度的计算(),然后为了减小维度除以进行Softmax得到当前字对句子的权重,最后再乘以矩阵V便得到了和句子紧密相关的当前位置的字向量表征。不原创 2020-07-15 23:47:12 · 760 阅读 · 0 评论 -
文本中的Tokenizer使用Tensorflow实现
处理自然语言处理问题,使用深度学习方法搭建神经网络。除去文本预处理,比如去除无关符号、停用词等,最基础的一步操作便是将文本中的词或者字映射成数字ID。下面主要用Tensorflow方法实现这种操作。from tensorflow.contrib import learnimport numpy as npimport jiebadata = [ "自然语言处理将是人工智能发展...原创 2019-12-16 16:32:12 · 1635 阅读 · 0 评论