![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习基本概念
小马帅就是我没错了
凡事贵在坚持
展开
-
nlp-bert
BERT 来自于 transformerseq2seq输入是什么?两个损失认为的计算介绍一些应用方法:原创 2020-03-06 11:55:44 · 186 阅读 · 0 评论 -
nlp-transformer
需要学习的知识点:Transformer中的encoder是干嘛的?怎么做的?Self的计算方式向量化计算多头注意力组合多头生成的z整个流程的简介多头注意力实际解释位置编码是什么?实例解释直觉上理解Batch Normalization 针对多个样本的同一维度的输出值;Layer Normalization 针对一个样本各个维度的输出值;Tr...原创 2020-03-06 10:37:38 · 187 阅读 · 0 评论 -
深度学习:归一化
深度学习中的归一化批量归一化自归一化网络主要内容与结构主要内容:归一化问题结构:深度模型的激活函数激活函数导致的梯度消失sigmoidtanhreluELU批量归一化层输出对下一层的影响每一层的梯度都与来自前一层的输入有关。避免梯度消失批归一化+仿射变换层(线性层):防止将那些本该在平坦区域却被我们归一化变换到梯度不平坦的区域带来的影响;同时保持网络稳定(让输入...原创 2019-02-24 09:50:43 · 778 阅读 · 0 评论 -
深度学习:卷积池化
参考july 7月CNN的卷积核是单层的还是多层的?一般来说,深度卷积网络是一层又一层的。层的本质是特征图,存储输入数据或其中间表示值。一组卷积核则是联系前后两层的网络参数表达体,训练的目标就是每个卷积核的权重参数组。描述网络模型中某层的厚度,通道数channel或者特征图feature map。不过人们更习惯把作为数据输入的前层的厚度成为通道数(如RGB通道数为3),把作为卷积输出的后层的...原创 2019-02-24 09:50:11 · 326 阅读 · 0 评论 -
深度学习:LSTM简介
循环神经网络(Recurrent Neural Network,RNN)RNN是一种用于处理序列数据的神经网络。相比一般网络,他能够处理序列变化的数据。比如某个单词的意思会因为上下文提到的内容不同而有不同的含义,RNN就能够很好的解决这类问题。其主要形式如图所示:其中:x为当前状态下数据的输入,h 表示接收到的上一个节点的输入y为当前节点状态下的输出,h‘为传递到下一个节点的输出通过...原创 2019-03-01 16:44:07 · 16201 阅读 · 1 评论 -
NLP:自回归(Autoregressive LM)与自编码语言模型(Autoencoder LM)
链接:https://zhuanlan.zhihu.com/p/70257427自回归根据上文内容预测下一个可能跟随的单词,就是常说的自左向右的语言模型任务,或者反过来也行,就是根据下文预测前面的单词,这种类型的LM被称为自回归语言模型。(GPT,ELMO)GPT 就是典型的自回归语言模型。ELMO尽管看上去利用了上文,也利用了下文,但是本质上仍然是自回归LM,这个跟模型具体怎么实现有关系。E...原创 2019-08-31 22:42:19 · 16565 阅读 · 1 评论