![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DeepLearning
AlphaU
这个作者很懒,什么都没留下…
展开
-
Bert遇见文本分类
首先简要介绍下bert中涉及到的有关技术点 ,Self-Attention、Multi-Headed、Positional Embedding、Layer normalization。 Self-Attention,主要是构建三个矩阵Query,Key,Value来确定当前位置的字或词(以下均以字代替)对句子所起的权重,换一句话说就是根据当前位置和句子进行点积相似度的计算(),然后为了减小维度除以进行Softmax得到当前字对句子的权重,最后再乘以矩阵V便得到了和句子紧密相关的当前位置的字向量表征。 不原创 2020-07-15 23:47:12 · 760 阅读 · 0 评论 -
自编码器(AutoEncoder)
信息量本身是固有属性,我们如何通过合理的记忆方法或抽取方法去获取我们所在意的那部分有价值的信息?在信息冗余的这个时代,我们通过算法来简化信息量以便能合理分析解决问题------降维。 自编码器本身其实就是在做降维这件事,我们通过降维来获取对信息的偏好。自编码器的理解本身算比较简单,以图像处理为例。 当我们有一堆含有噪声的手写数字作为输入,然后乘上权重矩阵,得到编码矩阵C,这就是encoder了...原创 2019-12-23 10:52:43 · 344 阅读 · 0 评论