机器学习&深度学习
Medlen
这个作者很懒,什么都没留下…
展开
-
如何理解卷积神经网络中的通道(channel)
在卷积神经网络中我们通常需要输入 in_channels 和 out_channels ,即输入通道数和输出通道数,它们代表什么意思呢?本文将给出一个形象的理解。对于通道的理解可以参考下面的这篇文章:【CNN】理解卷积神经网络中的通道 channel这里我稍微总结一下核心观点:对于最初输入图片样本的通道数 in_channels 取决于图片的类型,如果是彩色的,即RGB类型,这时候通道数固定为3,如果是灰色的,通道数为1。卷积完成之后,输出的通道数 out_channels 取决于过滤器的数量。原创 2020-11-22 09:16:15 · 61344 阅读 · 38 评论 -
卷积核(kernel)和过滤器(filter)的区别
之前就遇到过类似的问题,但是没有在中文社区中找到一种通俗易懂的答案,于是决定写下这篇文章,希望能给有类似困惑的人一个比较清晰的解释。卷积核就是由长和宽来指定的,是一个二维的概念。而过滤器是是由长、宽和深度指定的,是一个三维的概念。过滤器可以看做是卷积核的集合。过滤器比卷积核高一个维度——深度。下面结合一个多通道的例子马上就能理解了:图 1图1是对一个3通道的图片做卷积操作,卷积核的大小为 3×33 \times 33×3 ,卷积核的数目为3,此时过滤器指的就是这三个卷积核原创 2020-11-21 19:53:44 · 27088 阅读 · 17 评论 -
RNN编码器-解码器
读 Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation论文的主要贡献提出了一个新的神经网络模型叫做 RNN编码-解码器 ,该模型包含两个RNN,分别位于编码器和解码器中,编码器中的RNN负责将变长的输入序列映射到一个固定长度的向量中,解码器中的RNN则负责将向量映射到一个变长的输出序列中。定性的来讲,这个模型可以学习语言短语的有意义的的语义和句法表示。提出了一个新的L原创 2020-10-08 14:09:33 · 5872 阅读 · 1 评论 -
TensorFlow中的logits什么意思
在看论文的时候遇到几次logits这个单词,本次想用翻译软件查查,结果好几个软件都没有这个词的意思。无奈只好谷歌一下这个词的含义,结果在“What is the meaning of the word logits in TensorFlow? ” 这篇回答中找到了答案。这也是本文章的题目。也找了许多中文答案,但感觉都没有说出其本质。回答:logit 在统计学上是一个数学函数,但是在神经网络中却有着不同的含义。说白了,logits 就是一个向量,下一步将被投给 softmax 的向量。就是下图这个原创 2020-10-01 07:54:20 · 2781 阅读 · 0 评论 -
Attention is All You Need 论文架构理解
本文主要对论文“Attention is All You Need”的核心架构进行介绍。下图是Transformer的架构:Attention一个attention函数可以看做是将一个query跟一组key-value对映射到一个输出。query、keys、values和输出都是向量。输出是values的加权和,每一个values对应的权重是由兼容函数(compatibility function)根据query和对应的key计算出来的。图1Scaled Dot-Product Attenti原创 2020-09-28 18:14:33 · 699 阅读 · 1 评论 -
长短时记忆神经网络(LSTM)
下面为翻译文章,会稍有增删:原文:http://colah.github.io/posts/2015-08-Understanding-LSTMs/其他人的翻译:https://www.xiemingzhao.com/posts/eff2088e.html类似的文章:https://www.jianshu.com/p/8219ca28925e循环神经网络人类不会每秒都从头开始思考。 阅读本文时,您会根据对先前单词的理解来理解每个单词。 您不会丢掉一切,重新从头开始思考。 传统的神经网络无法做到这一原创 2020-09-24 20:27:36 · 18904 阅读 · 3 评论 -
全连接神经网络的前向传播和反向传播推导(配图理解)
什么是全连接神经网络?全连接神经网络是指任意两个相邻层之间的神经元全部互相连接。如下图所示:图 1如何计算全连接神经网络的输出?在进行计算前,我们先对一些变量进行说明,如下图所示:图 2首先是整个神经网络的输入,我们用 x1,x2,x3...xnx_1,x_2,x_3...x_nx1,x2,x3...xn 来表示神经网络的输入,在上图中输入是: x1,x2,x3x_1,x_2,x_3x1,x2,x3 。为了方便计算我们还可以用向量表示:X=[x1x2x3]X= \left[原创 2020-08-23 19:40:29 · 6152 阅读 · 4 评论 -
线性回归&梯度下降
什么是线性回归?学习首先从定义开始,下面是百度百科和维基百科对线性回归的定义:百度百科线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。维基百科线性回归(linear regression)是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。了解了线性回归的定义,接下来我们再说一下什么是线性、什么是回归?什么是线性?线性:自变量之间只存在线性关系,即自变量只能通过相加、或者相减进行组合1这原创 2020-07-26 21:37:09 · 368 阅读 · 0 评论