![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络——深度学习基础
介绍神经网络最基础,最近本源的概念
hjx5200
这个作者很懒,什么都没留下…
展开
-
查看远程服务器上tensorboard的训练可视化结果
远程访问服务器上tensorboard的可视化训练结果原创 2022-03-26 16:23:09 · 3184 阅读 · 1 评论 -
Conformer的几点笔记
Conformer是在Tranformer的基础上,引入CNN,来增强语音识别的效果。 我们已经了解了Transformer的大概结构,就是分为Encoder-Decoder架构。在Encoder部分包含6个block,每个block由self-attention和FFN两层网络组成。 Conformer只改变了Transformer的Encoder部分。 加入了Con卷积层,而且在Conformer block的前后两端都加入了FFN模块,且在每个模块上都引入残差。同时,self-attenti原创 2021-08-07 11:44:59 · 1555 阅读 · 0 评论 -
Transformer的几点笔记
1、encoder部分可以并行,decoder不可以。因为decode时还是要按顺序,依赖上一个输出; 2、attention有三种,分别是encoder部分的self-attention,以及decoder部分的masked self-attention和encoder-decoder attention,它们之间的异同要搞清楚。 1)在encoder部分的self-attention比较好理解,就是由输入的embeding a,衍生出三个向量,分别是q、k、v,它是由三个转换举证乘以a得到,这三个转原创 2021-07-27 13:36:51 · 344 阅读 · 0 评论 -
神经网络的前向反向传播
原创 2021-06-21 23:22:49 · 90 阅读 · 0 评论 -
神经元基础概念
一个标量表示某个属性值,一般是float型,它经过系数“扭曲”之后,可能还会加上“偏置”参数,就是一个神经元的输入。 其中a1和b0都是可训练的,就是根据输出y1与标注数据的差值调整系数,进而使得系统输出与样本数据相似。这个调整方法叫“梯度下降”。 如果对y1的输出再加上非线性函数,那么整个神经网络表现出了非线性。 z1就是y1的非线性结果,这个非线性的函数有多种,包括sigmoid、ReLU等等。 而如果输入不单单包括x1,还有x2、x3……,那么就有多个神经元与之对应。 这个...原创 2021-06-21 23:01:22 · 472 阅读 · 2 评论