笔记
文章平均质量分 81
Mars-Express
这个作者很懒,什么都没留下…
展开
-
神经网络学习-简记
第五章 神经网络概述:本次组队学习主要完成了: 1.学习了神经网络的相关基础内容; 2.对相应的一些公式进行了推导。5.1 神经元模型 神经网络是由具有适应性的简单单元组成的广泛并行互连的网络。图5.1 MP神经元模型 step1.神经网络基本单元——神经元(neuron) step2."M-P神经元模型经元接收到来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接(connection) 进行传递,神经元接收到的总输入值将与神经元的阀值进行比较,然后通过"激活函数原创 2021-10-29 10:08:27 · 371 阅读 · 0 评论 -
NLP学习————实现一个BERT(简记)
NLP学习————实现一个BERT(简记)本文主要内容是介绍了BERT的代码结构、具体实现与原理,对BERT的一些简记内容包括以下几个部分:BERT Tokenization 分词模型(BertTokenizer)BERT Model 本体模型(BertModel)BertEmbeddingsBertEncoderBertLayerBertAttentionBertIntermediateBertOutputBertPooler本文内容的结构图如下:具体的内原创 2021-08-22 21:54:07 · 673 阅读 · 0 评论 -
2021-08-21
NLP笔记——BERT和GPT简单记录一、BERT在模型架构方面,到目前为止,和 Transformer 是相同的(除了模型大小,因为这是我们可以改变的参数)可以理解为:一个训练好的 Transformer 的 decoder 的栈输入:1、token 是特殊的 [CLS],它的含义是分类(class的缩写)。输出:与transformer输出类似思考一个问题:(语境问题)如果我们使用 Glove 的词嵌入表示方法,那么不管上下文是什么,单词 “stick” 都只表示为同一个向量原创 2021-08-21 00:44:14 · 107 阅读 · 0 评论